Пружины на весах

Большие веса — инструмент переобучения

В уроке 17 бритва Оккама советовала: из моделей, которые одинаково хорошо объясняют данные, бери простую. В уроке 20 сложность ограничивали временем: early stopping (ранняя остановка) прерывал обучение, пока сеть не начала заучивать шум. Сегодня второй способ — ограничить сами веса. Третий, dropout, ждёт в уроке 23.

Сначала о том, чем плохи большие веса. Вернись к многочлену из задачки. Чтобы пройти через все десять шумных точек, кривой приходится резко поворачивать между ними. Резкий поворот многочлен умеет делать одним способом: взять огромные коэффициенты с разными знаками, которые почти уничтожают друг друга. Сумма получается маленькой, но стоит чуть сдвинуть \(x\) — баланс рушится, и кривая улетает.

У нейронной сети та же история, и её проще увидеть. Возьми один скрытый нейрон с одним входом: \(h = \tanh(wx)\).

Сеть из нейронов с маленькими весами близка к линейной функции — самой простой из возможных. Из ступенек же собирается сколь угодно изломанная функция, в том числе та, что проходит через каждую шумную точку.

Большие веса — инструмент переобучения: без них сеть не может строить резкие изгибы, которыми заучивают шум.

Конспект говорит то же одной фразой (стр. 164): сеть, которой позволили свободно минимизировать ошибку, может взять очень большие веса, чтобы подогнать каждую деталь. Отсюда идея: сделать большие веса дорогими.

Штраф за размер весов

У идеи «заранее ограничить модель» есть имя, и слайды начинают тему именно с него.

У weight decay предположение такое: веса сети малы. Способ прямолинейный: к ошибке на данных прибавляют слагаемое, которое растёт вместе с весами.

В таком виде функция стоит у профессора (лекция 3, слайд 15), с теми же подписями под слагаемыми: Fitting и Regularization. Пределы суммы по весам, от \(q = 1\) до \(Q\), тоже оттуда; дальше в уроке для краткости стоит \(\sum_q\). Откуда эта сумма берётся на слайде, покажет раздел 4.

Теперь оптимизатор ищет компромисс. Вырастить вес стоит денег: большой \(w_q\) окупится, только если он уменьшает первое слагаемое сильнее, чем увеличивает второе.

Пружина здесь не просто образ. Энергия пружины жёсткости \(k\), растянутой на \(w\), равна \(\tfrac{1}{2}kw^2\). Штраф \(\gamma w_q^2\) — это в точности энергия пружины жёсткости \(2\gamma\), привязавшей вес к нулю. Конспект так и пишет: оптимизатор минимизирует «both error and weight energy».

Смысл один, отличается масштаб: множители \(\frac{1}{2}\) и \(\frac{1}{N}\) прячутся в \(\gamma\). Поэтому число \(\gamma\) из одного источника нельзя переносить в формулу другого, не посмотрев, как записан штраф.

Что делает \(\gamma\)

При \(\gamma = 0\) штрафа нет — обычное обучение. Маленькая \(\gamma\) почти не мешает весам расти: модель гибкая, у неё большая variance (разброс). Большая \(\gamma\) прижимает веса к нулю: модель простая, растёт bias (систематическая ошибка). Где-то между ними ошибка на новых данных минимальна.

Обрати внимание: ни один вес не удалён. Номинальная ёмкость сети — число весов — прежняя. Уменьшилась эффективная ёмкость (effective capacity): какой частью своей свободы сеть реально пользуется.

Если всё это кажется знакомым — так и есть. Для модели, линейной по весам, weight decay — это ridge regression (гребневая регрессия) из Applied Statistics, и минимум находится точно: \(\vb{w} = (X\T X + \gamma I)^{-1} X\T \vb{t}\). Многочлен линеен по своим коэффициентам, поэтому в лаборатории ниже градиентный спуск не нужен.

Почему decay: каждый шаг сжимает вес

Название weight decay («затухание весов») становится понятным, если записать шаг градиентного спуска. На слайдах лекции 3 такого шага нет: там есть только сама функция ошибки (слайд 15), а шаг получается из неё дифференцированием. Производная штрафа \(\gamma w_q^2\) по \(w_q\) равна \(2\gamma w_q\), поэтому:

Вторая строка — это первая, в которой собраны слагаемые с \(w_q\). Она читается как два действия: сначала вес умножают на число чуть меньше единицы, потом делают обычный шаг по градиенту ошибки на данных.

Если данные про этот вес молчат — градиент ошибки равен нулю, — остаётся одна усадка, и после \(k\) шагов от веса остаётся доля \((1 - 2\eta\gamma)^k\). Это геометрическое затухание, отсюда слово decay. При \(\eta = 0.1\), \(\gamma = 0.01\) множитель равен 0.998, и за 347 шагов вес уменьшается вдвое. Вес выживает, только если данные на каждом шаге заново за него «платят».

Проверь на числах \(w = 2\), \(\partial E_{\mathrm{train}}/\partial w = 0.5\), \(\eta = 0.1\), \(\gamma = 0.01\). Шаг по градиенту в обоих случаях равен \(0.1 \cdot 0.5 = 0.05\), отличается только усадка:

• запись конспекта, множитель 0.999: \(0.999 \cdot 2 - 0.05 = 1.948\);
• запись слайда 15, множитель 0.998: \(0.998 \cdot 2 - 0.05 = 1.946\);
• без штрафа: \(2 - 0.05 = 1.95\).

Не все веса сжимаются одинаково

Пружины у всех весов одинаковые, а результат разный. Он зависит от того, насколько крепко данные «держат» вес.

В направлении, где ошибка на данных круто растёт, пружина почти ничего не сдвигает. В пологом направлении, где данным всё равно, вес уезжает к нулю почти без сопротивления. Weight decay убирает не «всё понемногу», а в первую очередь то, что данные не подтверждают.

Ещё одно следствие квадрата. Пусть два входа несут одно и то же, и сети нужно \(w_1 + w_2 = 1\). Вариант \((1, 0)\) стоит \(1^2 + 0^2 = 1\), вариант \((0.5, 0.5)\) — вдвое дешевле: 0.5. L2 предпочитает раздать вес поровну, а не ставить всё на один вход. Конспект называет это distributed representation (распределённое представление).

Откуда квадрат: от MLE к MAP

Пока штраф выглядит как удачный трюк. Теперь покажем, что он следует из одного предположения о весах — так же, как в уроке 15 Sum of Squared Errors следовала из предположения о шуме.

Напоминание. MLE выбирает веса, при которых наблюдаемые данные наиболее вероятны: \(\vb{w}_{\mathrm{MLE}} = \argmax_{\vb{w}} P(D|\vb{w})\). Эта формула с подписью Maximum Likelihood стоит и у профессора (лекция 3, слайд 14), с напоминанием: до сих пор максимизировали именно likelihood данных. При гауссовом шуме это то же, что минимизировать сумму квадратов ошибок. У MLE нет мнения о самих весах: огромные и крошечные для неё равноправны, лишь бы данные объяснялись.

А у тебя такое мнение часто есть. Термометр за окном в июле показывает −5 °C. Ты не поверишь: ещё до измерения известно, какие температуры в июле правдоподобны. Это знание называется prior (априорное распределение). Показание термометра — данные. Разумный вывод лежит между ними, и тем ближе к prior, чем хуже термометр.

Правило Байеса записывает это рассуждение одной строкой.

На слайде 14 этот ход назван Bayesian approach (байесовский подход): он уменьшает «свободу» модели, потому что к данным добавлено предположение об априорном распределении параметров. Это то самое a-priori assumption из определения регуляризации.

Какой prior взять для весов сети? Самый простой, который говорит «веса скорее маленькие»: каждый вес независимо от других распределён нормально вокруг нуля, \(w_q \sim N(0, \sigma_w^2)\). Дисперсия \(\sigma_w^2\) — мера уверенности. Узкий колокол: «веса почти наверняка около нуля». Широкий: «могут быть и большими».

Слайд 14 обосновывает этот выбор одним наблюдением: у сетей с малыми весами обобщение лучше. Сам prior записан там сокращённо: \(P(\vb{w}) \sim N(0, \sigma_w^2)\). Слева стоит распределение, хотя нормально распределён сам вес. Читай запись слайда как \(w_q \sim N(0, \sigma_w^2)\) для каждого из \(Q\) весов независимо: именно это подставлено в произведение на слайде 15.

Сам вывод занимает на слайде 15 лекции 3 четыре строки. Ниже те же строки по порядку, а между ними — шаги, которые слайд пропускает.

1. Строка 1 слайда. Оценка обозначена там \(\hat{\vb{w}}\): это та же \(\vb{w}_{\mathrm{MAP}}\) со слайда 14. Второе равенство — правило Байеса без знаменателя: \(P(D)\) от \(\vb{w}\) не зависит и на положение максимума не влияет.

   \[ \begin{aligned} \hat{\vb{w}} &= \argmax_{\vb{w}}\; P(\vb{w}|D) \\ &= \argmax_{\vb{w}}\; P(D|\vb{w})\,P(\vb{w}) \end{aligned} \]

2. Likelihood. Модель данных — та же, что в уроке 15: \(t_n = g_n + \epsilon_n\) с шумом \(\epsilon_n \sim N(0, \sigma^2)\); для краткости пишем \(g_n\) вместо \(g(x_n|\vb{w})\). Шумы независимы, поэтому вероятности отдельных примеров перемножаются:

   \[ P(D|\vb{w}) = \prod_{n=1}^{N} \frac{1}{\sqrt{2\pi}\,\sigma}\; e^{-\frac{(t_n - g_n)^2}{2\sigma^2}} \]

3. Prior. Веса независимы, каждый распределён как \(N(0, \sigma_w^2)\) — тоже произведение, по одному множителю на каждый из \(Q\) весов:

   \[ P(\vb{w}) = \prod_{q=1}^{Q} \frac{1}{\sqrt{2\pi}\,\sigma_w}\; e^{-\frac{w_q^2}{2\sigma_w^2}} \]

4. Строка 2 слайда: оба произведения подставлены под \(\argmax\).

   \[ \begin{aligned} \hat{\vb{w}} = \argmax_{\vb{w}}\; &\prod_{n=1}^{N} \frac{1}{\sqrt{2\pi}\,\sigma}\; e^{-\frac{(t_n - g_n)^2}{2\sigma^2}} \\ {}\cdot{} &\prod_{q=1}^{Q} \frac{1}{\sqrt{2\pi}\,\sigma_w}\; e^{-\frac{w_q^2}{2\sigma_w^2}} \end{aligned} \]

5. Логарифм. На слайде этого шага нет, он сделан молча. Логарифм монотонный: максимум остаётся на месте, а произведения превращаются в суммы. Поменяем знак и будем искать минимум. У каждого множителя экспонента даёт квадрат, а нормировка — константу:

   \[ \begin{aligned} &-\log P(D|\vb{w}) \\ &\qquad = \sum_{n=1}^{N}\frac{(t_n - g_n)^2}{2\sigma^2} + c_1 \end{aligned} \] \[ \begin{aligned} &-\log P(\vb{w}) \\ &\qquad = \sum_{q=1}^{Q}\frac{w_q^2}{2\sigma_w^2} + c_2 \end{aligned} \]

   Вот где колокол Гаусса превращается в параболу: \(-\log e^{-w^2/2\sigma_w^2} = w^2 / 2\sigma_w^2\).

6. Строка 3 слайда. Складываем; константы \(c_1\), \(c_2\) не зависят от \(\vb{w}\) и на положение минимума не влияют — отбрасываем:

   \[ \begin{aligned} \hat{\vb{w}} = \argmin_{\vb{w}} \Big[ &\sum_{n=1}^{N}\frac{(t_n - g_n)^2}{2\sigma^2} \\ &+ \sum_{q=1}^{Q}\frac{w_q^2}{2\sigma_w^2} \Big] \end{aligned} \]

7. Строка 4, последняя. Умножим всё на \(2\sigma^2 \gt 0\): положение минимума от умножения на положительное число не меняется.

   \[ \begin{aligned} \hat{\vb{w}} = \argmin_{\vb{w}} \Big[ &\sum_{n=1}^{N}(t_n - g_n)^2 \\ &+ \gamma\sum_{q=1}^{Q} w_q^2 \Big] \end{aligned} \]

   Это error function с weight decay: первое слагаемое на слайде подписано Fitting, второе — Regularization. Чему равна \(\gamma\), слайд не пишет. Сравни строки 3 и 4: перед штрафом стояло \(\frac{1}{2\sigma_w^2}\), умножение на \(2\sigma^2\) даёт

   \[ \gamma = \frac{\sigma^2}{\sigma_w^2} \]

Weight decay — это MAP-оценка весов с Gaussian prior \(N(0, \sigma_w^2)\); коэффициент \(\gamma = \sigma^2 / \sigma_w^2\) — дисперсия шума, делённая на дисперсию prior.

Рядом с последней строкой на слайде 15 стоит выноска: "Here it comes another loss function!!!". В уроке 15 из MLE получились Sum of Squared Errors и crossentropy; MAP дал ещё одну функцию для минимизации. Loss function в этой реплике — то же, что error function.

Прочитай \(\gamma\) как дробь. Числитель \(\sigma^2\) — насколько шумны данные: шумным данным верят меньше, и \(\gamma\) растёт. Знаменатель \(\sigma_w^2\) — насколько широк prior: узкий prior означает сильную уверенность, что веса малы, и \(\gamma\) тоже растёт. Плоский prior, \(\sigma_w \to \infty\), даёт \(\gamma \to 0\) — и MAP превращается в MLE.

Компромисс на одном весе

Посмотри, как это работает для единственного веса. Модель самая простая: \(t_n = w + \epsilon_n\). Наблюдений \(N\), их среднее равно 2, значит \(w_{\mathrm{MLE}} = 2\). Минимум \(\sum_n (t_n - w)^2 + \gamma w^2\) находится приравниванием производной к нулю:

Это и есть равновесие двух пружин с рис. 2: жёсткость пружины данных относится к жёсткости пружины prior как \(N\) к \(\gamma\). Какая жёстче, к той стороне вес и ближе.

В формуле видно то, чего не видно в самой \(\gamma\): с ростом \(N\) первое слагаемое ошибки растёт — в нём \(N\) квадратов, — а штраф остаётся прежним. Чем больше данных, тем меньше значит prior.

Prior для всех весов сразу

Весов в сети много, и prior задаётся на весь вектор \(\vb{w}\). Произведение независимых одномерных гауссиан — это многомерная гауссиана с диагональной ковариационной матрицей. Если дисперсии одинаковы, \(\Sigma = \sigma_w^2 I\), линии равной плотности — круги (в многомерном случае сферы), и

То есть штраф зависит только от длины вектора весов — это и есть круги на рис. 4. Конспект (стр. 170–171) разбирает и общий случай.

Как выбрать γ

Формула \(\gamma = \sigma^2 / \sigma_w^2\) объясняет смысл \(\gamma\), но числа не даёт: ни дисперсию шума, ни «правильную» ширину prior никто не знает. Поэтому \(\gamma\) — hyperparameter (гиперпараметр), и выбирают её как в уроке 21: по validation set, отложенной части данных.

Почему не по training set? Потому что там ответ известен заранее. В лаборатории \(E_{\mathrm{train}}\) только росла с \(\gamma\), так что «лучшей» всегда окажется \(\gamma = 0\). По той же причине \(\gamma\) нельзя учить градиентным спуском вместе с весами.

Слайд 16 лекции 3 называет такой выбор cross-validation, а его заголовок начинается со слова Recall: это та же схема, по которой на слайде 13 выбирали число скрытых нейронов. У профессора слово cross-validation шире, чем K-fold: так он называет любое использование имеющихся данных и для обучения, и для оценки ошибки на новых данных, а одна отложенная часть (hold out) — простейший вид такой проверки (лекция 3, слайд 6). Сама процедура на слайде 16 — пять шагов.

1. Раздели данные на training set и validation set: в них \(N_{\mathrm{TRAIN}}\) и \(N_{\mathrm{VAL}}\) примеров. Test set отложен раньше и в выборе не участвует.
2. Для нескольких значений \(\gamma\) обучи сеть на training set, минимизируя ошибку со штрафом: \[ \begin{aligned} E_{\gamma}^{\mathrm{TRAIN}} = {} & \sum_{n=1}^{N_{\mathrm{TRAIN}}} \big(t_n - g(x_n|\vb{w})\big)^2 \\ & + \gamma \sum_{q=1}^{Q} w_q^2 \end{aligned} \]
3. Оцени каждую обученную сеть на validation set — с весами \(\vb{w}\), найденными в шаге 2, и уже без штрафа: \[ E_{\gamma}^{\mathrm{VAL}} = \sum_{n=1}^{N_{\mathrm{VAL}}} \big(t_n - g(x_n|\vb{w})\big)^2 \]
4. Выбери \(\gamma^*\) с лучшей, то есть наименьшей, validation error: \(\gamma^* = \argmin_{\gamma}\, E_{\gamma}^{\mathrm{VAL}}\). Это дно малиновой кривой из лаборатории.
5. Собери все данные обратно вместе и минимизируй ошибку с выбранной \(\gamma^*\): \[ \begin{aligned} E_{\gamma^*} = {} & \sum_{n=1}^{N} \big(t_n - g(x_n|\vb{w})\big)^2 \\ & + \gamma^* \sum_{q=1}^{Q} w_q^2 \end{aligned} \] Здесь \(N = N_{\mathrm{TRAIN}} + N_{\mathrm{VAL}}\). Итоговую оценку качества даёт test set.

Осторожно с буквами. На слайде \(E_{\gamma}^{\mathrm{TRAIN}}\) — вся минимизируемая функция, вместе со штрафом. В лаборатории и в конспекте \(E_{\mathrm{train}}\) — только ошибка на данных, так что \(E_{\gamma}^{\mathrm{TRAIN}}\) слайда равна \(E_{\mathrm{train}}\) плюс число «штраф» из лаборатории. А \(E_{\gamma}^{\mathrm{VAL}}\) слайда и \(E_{\mathrm{val}}\) лаборатории — одно и то же.

Справа на слайде 16 нарисован пример. По горизонтали — значения \(\gamma\): 0.1, 1, …, 5, …, 100. По вертикали — их ошибки \(E_{0.1}^{\mathrm{VAL}}\), \(E_{1}^{\mathrm{VAL}}\), \(E_{5}^{\mathrm{VAL}}\). Точки лежат на U-образной кривой с дном при \(\gamma = 5\), и выноска выбирает \(\gamma^* = 5\). Это та же малиновая кривая, что в лаборатории. Две опечатки слайда, чтобы не унести их в ответ: "cross-validaton" в первой строке и "Chose" там, где нужен глагол choose.

Какие значения пробовать, слайд не говорит. Обычно берут логарифмическую сетку: в конспекте (стр. 171) это \(10^{-5}, 10^{-4}, \dots, 1, 10\) — семь значений, семь обучений. Сетка логарифмическая, потому что \(\gamma\) действует как множитель и интересный диапазон занимает несколько порядков: в лаборатории дно гуляло от \(10^{-6}\) до \(10^{-1.5}\), а на слайде значения идут от 0.1 до 100.

Родственники: L1 и early stopping

Квадрат — не единственный возможный штраф. L1 regularization берёт сумму модулей: \(\gamma \sum_q \abs{w_q}\). На слайдах лекции 3 его нет: он здесь для сравнения с L2. Разница в том, как штраф тянет вес к нулю.

Пружина тянет тем слабее, чем ближе вес к нулю, поэтому до самого нуля она его не дотягивает. У L1 тяга постоянная, как у гири на нитке: вес, за который данные «платят» меньше \(\gamma\), она доводит до нуля ровно. Поэтому L1 берут, когда хочется отобрать немногие важные входы, а L2 — когда нужно просто усмирить веса.

С early stopping связь ещё теснее. Обучение стартует с маленьких весов, и они растут шаг за шагом. Остановиться рано — значит не дать им уйти далеко от нуля. Weight decay держит их маленькими всё время обучения. Конспект (стр. 165) так и сравнивает: первый приём ограничивает время, второй — величину весов, и оба реализуют бритву Оккама. Для ошибки в форме чаши соответствие даже количественное, оно разобрано в уроке 20: \(\tau\) шагов с learning rate \(\eta\) действуют примерно как штраф с \(\gamma\), пропорциональной \(1/(\eta\tau)\). Мало шагов — сильная регуляризация.

Ответ на задачку

Оба вопроса из начала теперь закрыты. Почему запрет на большие числа лечит переобучение? Резкие изгибы, которыми модель заучивает шум, требуют больших весов. Штраф делает их дорогими, и модель оставляет только те веса, за которые данные действительно «платят». В лаборатории это стоило роста \(E_{\mathrm{train}}\) с 0 до 0.56 и дало падение \(E_{\mathrm{val}}\) с 5.99 до 1.33.

Почему именно квадрат? Потому что квадрат — это минус логарифм колокола Гаусса. Предположение «каждый вес распределён как \(N(0, \sigma_w^2)\)» после логарифма даёт ровно \(\gamma \sum_q w_q^2\) с \(\gamma = \sigma^2 / \sigma_w^2\). Пружина оказалась записью убеждения «веса скорее маленькие», а её жёсткость — мерой того, насколько шумным данным мы верим меньше, чем этому убеждению.