Один двигатель, разные приборные панели

Двигатель общий, панель под задачу

В уроках 9 и 10 сеть собиралась из скрытых слоёв: каждый нейрон считает взвешенную сумму и пропускает её через sigmoid или tanh. Эти слои — двигатель. Они перемалывают вход \(\vb{x}\) в набор чисел \(h_j\): признаки, по которым уже можно отвечать заказчику.

Но двигатель ничего не показывает водителю. Для этого нужна приборная панель — выходной слой (output layer). Он берёт признаки \(h_j\) и переводит их в ответ того вида, который нужен задаче. Видов три, и у каждого свой прибор.

• Regression: ответ — число без границ. Прибор — стрелка на бесконечной шкале, выход linear.
• Classification на два класса: ответ — насколько пример похож на класс 1. Прибор — одна лампа с яркостью от 0 до 1, выход sigmoid.
• Classification на \(K\) классов: ответ — как уверенность делится между классами. Прибор — полоса из \(K\) долей с суммой 1, выход softmax.

К прибору всегда прилагается второе решение: чем штрафовать за промах. Это функция ошибки — error function \(E(\vb{w})\); в конспекте она же loss function. На слайде 52 лекции 2 (в его углу напечатано 53) профессор говорит это прямо: "Error functions define the task to be solved". А скрытым нейронам слайд 19 оставляет sigmoid или tanh, какой бы ни была задача. Весь урок — про три пары «прибор + штраф» и про то, почему пары нельзя перемешивать.

Как читать слайды и конспект одновременно

Слайды и конспект пишут одно и то же разными буквами. Договоримся один раз.

Дальше \(y\) — короткая запись для \(g(x_n|\vb{w})\), ответа сети на один пример; \(a\) — сумма на входе выходного нейрона; все логарифмы натуральные.

Regression: стрелка без ограничителей

Агентству нужна цена. Цена — число, которое может оказаться любым: 250 000 евро за квартиру, а в соседней задаче −10 °C за окном. В уроке 10 было видно, что sigmoid сжимает любой вход в интервал \((0, 1)\), а tanh — в \((-1, 1)\). Поставь такую функцию на выход, и сеть не сможет произнести «250 000», какими бы ни были веса.

Поэтому в regression на выходе стоит один нейрон с линейной активацией (linear activation): он отдаёт взвешенную сумму как есть. Один — потому что число нужно одно; если сеть должна предсказать несколько чисел сразу, линейных нейронов ставят по одному на каждое.

Чем штрафовать: квадрат промаха

На слайдах ошибка для regression — Sum of Squared Errors: промах на каждом примере возводится в квадрат, квадраты складываются.

Квадрат делает две вещи. Убирает знак: промахи \(+1\) и \(-1\) не гасят друг друга. И наказывает большие промахи сильнее маленьких: промах 10 стоит в сто раз дороже промаха 1.

Конспект делит ту же сумму на \(N\) и называет результат MSE, а рядом вводит MAE — среднее модулей промахов, которого на слайдах нет.

Деление на \(N\) не меняет, при каких весах ошибка минимальна. Оно только уменьшает градиент в \(N\) раз, а это то же самое, что взять другой learning rate \(\eta\).

Отсюда Sum of Squared Errors равна 7, MSE = 7 / 4 = 1.75, MAE = 5 / 4 = 1.25. Обрати внимание на единицы: если цены в евро, то MAE тоже в евро, а MSE — в евро в квадрате. Чтобы вернуться к евро, из MSE берут корень: \(\sqrt{1.75} \approx 1.32\).

Для обучения важнее другое: с какой силой каждый пример тянет ответ к своей цели. Силу задаёт производная ошибки по ответу \(y_n\).

Знак плюс значит «ответ завышен»: обучение идёт против производной и тянет такой ответ вниз, к цели. В примере у MSE производные равны \((0.5,\ {-}0.5,\ 1.0,\ {-}0.5)\): третий пример ошибся вдвое сильнее и тянет вдвое сильнее. У MAE они равны \((0.25,\ {-}0.25,\ 0.25,\ {-}0.25)\): все тянут одинаково, размер промаха не важен.

У модуля есть две неприятности, и обе названы в конспекте. В точке \(y_n = t_n\) у него нет производной; на практике берут subgradient — любое число от −1 до 1, обычно 0. И его тяга не слабеет рядом с целью: шаги остаются одного размера, поэтому с MAE обучение сходится медленнее. Зато оно устойчивее к выбросам (outliers).

Что это значит, лучше увидеть на данных, в которые закралась ошибка.

Модель в виджете отвечает одним числом, и для неё всё видно сразу: минимум MSE — это среднее цен, минимум MAE — их медиана. Из Applied Statistics ты знаешь, что среднее чувствительно к выбросам, а медиана нет. Здесь то же свойство, только под другим именем. У настоящей сети ответ зависит от входа, и «среднее» с «медианой» становятся условными: при данном \(\vb{x}\).

Почему на слайдах всё-таки квадрат, а не модуль? Потому что Sum of Squared Errors получается сама, если считать target ответом сети плюс гауссов шум и искать веса, при которых наблюдённые данные самые вероятные. Вывод — в уроке 15. Здесь достаточно запомнить связку «гауссов шум — квадрат промаха».

Два класса: одна лампа с яркостью

Почтовому сервису нужен ответ «спам или нет». Классов два, но нейрон на выходе нужен один: он показывает, насколько сеть уверена в классе 1, а классу 0 достаётся остаток.

Какую активацию ему дать, на слайде 19 лекции 2 решает кодировка ответов — то, какими числами классы записаны в данных.

Оговорка: число из \((0, 1)\) само по себе ещё не вероятность. Оценкой вероятности оно становится, когда сеть обучена на ответах 0 и 1 с подходящей функцией ошибки. К ней и переходим, но сначала — место в конспекте, где кодировки перепутаны.

Штраф синоптика

Как штрафовать сеть, которая выдаёт вероятность? Представь синоптика. Вечером он объявляет вероятность дождя, утром идёт дождь. Насколько он неправ? Удобная мера — «удивление»: минус логарифм вероятности, которую он дал тому, что случилось на самом деле.

Уверенный и правый почти ничего не платит. Уверенный и неправый платит много, и чем увереннее, тем больше: потолка у штрафа нет. Сумма таких штрафов по всем примерам — binary cross-entropy.

В обоих случаях под логарифмом стоит вероятность, которую сеть дала правильному классу. Посчитаем на примере из конспекта.

Много это или мало? Сравни с моделью, которая ничего не знает и на всё отвечает 0.5: её штраф на каждом письме равен \(\ln 2 = 0.693\). Наши 0.540 лишь немного лучше. Простой подсчёт говорит то же: по порогу 0.5 сеть угадала два письма из четырёх.

А что будет, если штрафовать лампу по-старому, квадратом промаха \((t - y)^2\)? Сравним два штрафа на одном примере.

В координатах \(y\) кривая cross-entropy — та самая, что нарисована в конспекте на стр. 79. Подпись под тем рисунком стоит поправить.

Откуда в штрафе именно логарифм, покажет урок 15: binary cross-entropy получается из того же принципа «самые вероятные данные», если считать каждый ответ \(t_n\) броском монеты, у которой орёл выпадает с вероятностью \(g(x_n|\vb{w})\).

Много классов: полоса, разрезанная на доли

Банку нужна цифра на чеке: десять классов. Правило слайда 19 лекции 2 короткое: нейронов на выходе столько же, сколько классов, то есть \(K\). Остаётся решить две вещи: как записать правильный ответ и как превратить \(K\) сумм в \(K\) вероятностей.

One-hot: как записать ответ

Первое, что приходит в голову, — пронумеровать классы: кот — 0, пёс — 1, птица — 2, и учить один нейрон выдавать номер. Но числа приносят с собой порядок и расстояния, которых у классов нет. Выходит, что птица вдвое дальше от кота, чем пёс, а пёс — нечто среднее между котом и птицей.

One-hot encoding убирает лишнее: ответ — вектор из \(K\) чисел, единица на месте своего класса, нули на остальных. Какое место «горячее» у какого класса — вопрос договорённости: в конспекте кот получает \([1, 0, 0]\), а на слайде 19 первый класс \(\Omega_0\) записан как \([0\ 0\ 1]\).

Softmax: как получить доли

Каждый из \(K\) выходных нейронов считает свою сумму \(a_k\). Конспект называет эти суммы logits, на слайде 19 они обозначены \(z_k\). Logit может быть любым числом, в том числе отрицательным. Softmax делает из них доли в два шага: экспонента превращает любое число в положительное, деление на общую сумму заставляет доли складываться в 1. Заодно экспонента растягивает различия: отрыв на 1 по logit — это доля в \(e \approx 2.72\) раза больше, отрыв на 3 — уже в 20 раз. Но ни одна доля не становится нулём.

Из формулы сразу следуют два свойства, каждое доказывается в одну строку.

Важны только разности. Прибавь ко всем \(a_k\) одно и то же число \(c\): числитель и знаменатель умножатся на \(e^{c}\), и оно сократится.

Поэтому отношение долей двух классов зависит только от разности их logits: \(y_1 / y_2 = e^{a_1 - a_2}\).

При \(K = 2\) это sigmoid. Раздели числитель и знаменатель на \(e^{a_1}\):

Справа стоит \(\sigma(a_1 - a_2)\). Вот почему для двух классов хватает одного нейрона с sigmoid: второй logit можно считать нулём.

Cross-entropy для \(K\) классов

Штраф тот же, что у синоптика: минус логарифм вероятности, данной правильному классу. С ответом one-hot это записывается суммой, в которой выживает одно слагаемое.

На слайде 51 та же ошибка для всех примеров сразу названа Crossentropy и записана через скалярное произведение векторов длины \(K\); конспект называет её CCE.

В Example 7: если правильный класс первый, штраф равен \(-\ln 0.659 = 0.417\); если второй — \(-\ln 0.2424 = 1.417\). Во втором случае доля взята с четырьмя знаками: с округлённой 0.242 вышло бы 1.419. Точка отсчёта — модель, которая делит поровну: её штраф \(\ln K\), для трёх классов \(\ln 3 = 1.099\).

Одна строка на все три панели

Вернёмся к письму из начала урока. Сеть сказала «спам с вероятностью 0.0003», письмо — спам. Чтобы исправиться, сети нужен сигнал: в какую сторону и насколько сильно менять сумму \(a\) на входе выходного нейрона. Этот сигнал — производная \(\partial E / \partial a\); в уроке 14 именно она отправится назад по сети. Посчитаем её для пары «sigmoid + cross-entropy».

1. Один пример. Ошибка и выход нейрона:

   \[ E = -\bigl[\, t \ln y + (1 - t) \ln (1 - y) \,\bigr] \] \[ y = \sigma(a) \]

2. \(E\) зависит от \(a\) только через \(y\). По правилу цепочки (chain rule) производная распадается на два множителя:

   \[ \pd{E}{a} = \pd{E}{y} \cdot \pd{y}{a} \]

3. Первый множитель — производные двух логарифмов, приведённые к общему знаменателю:

   \[ \pd{E}{y} = -\frac{t}{y} + \frac{1 - t}{1 - y} = \frac{y - t}{y\,(1 - y)} \]

   В числителе \(-t(1 - y) + (1 - t)\,y = y - t\).

4. Второй множитель — производная sigmoid из урока 10, выраженная через её собственный выход:

   \[ \pd{y}{a} = y\,(1 - y) \]

5. Перемножим. Выражение \(y(1 - y)\) стоит в знаменателе первого множителя и в числителе второго — оно сокращается целиком:

   \[ \pd{E}{a} = y - t \]

   Это формула (22) конспекта: ответ минус цель.

На четырёх письмах Example 6 это даёт сигналы \(({-}0.1,\ {+}0.2,\ {-}0.6,\ {+}0.6)\). Знак говорит, куда двигать \(a\): минус — увеличивать, плюс — уменьшать. Два письма, на которых сеть ошиблась, тянут в 3–6 раз сильнее двух остальных.

В уроке 10 множитель \(y(1 - y)\) был причиной насыщения: у уверенного нейрона он почти ноль. Здесь он исчез. Теперь тот же расчёт для квадрата промаха \(E = (t - y)^2\). Первый множитель другой, \(2(y - t)\), второй тот же, и сократить его нечем:

Подставим письмо: \(a = -8\), значит \(y = \sigma(-8) \approx 0.0003\), а \(t = 1\).

Отношение — около 1500: вот откуда число в начале урока. Множитель \(y(1 - y)\) почти равен нулю ровно там, где сеть уверена, и ему всё равно, права она или нет. С cross-entropy его нет: чем грубее промах, тем сильнее сигнал.

Правильно подобранная пара «выход + функция ошибки» даёт на выходном нейроне сигнал \(y - t\): ответ минус цель.

Это верно для всех трёх панелей. У linear-выхода с квадратом промаха \(y = a\), поэтому \(\partial E / \partial a = 2(y - t)\) — тот же промах с постоянным множителем. У softmax с cross-entropy то же получается для каждого выходного нейрона.

1. Один пример, \(K\) выходов. Ошибка и softmax, где \(S\) — сумма всех экспонент:

   \[ E = -\sum_{k} t_k \ln y_k, \qquad y_k = \frac{e^{a_k}}{S} \]

2. Логарифм доли раскладывается: \(\ln y_k = a_k - \ln S\). Подставим и вспомним, что у вектора one-hot сумма \(t_k\) равна 1:

   \[ E = -\sum_{k} t_k\, a_k + \ln S \]

3. Берём производную по одному logit \(a_i\). От первой суммы остаётся \(-t_i\). В \(S\) от \(a_i\) зависит одно слагаемое:

   \[ \pd{\ln S}{a_i} = \frac{e^{a_i}}{S} = y_i \]

4. Складываем обе части — формула (26) конспекта:

   \[ \pd{E}{a_i} = y_i - t_i \]

В Example 7 с правильным вторым классом сигнал равен \((0.659,\ {-}0.758,\ 0.099)\). Сумма компонент — ноль: вероятность не создаётся и не исчезает, она перетекает к правильному классу. Те же три числа в виджете выше — длины стрелок под столбиками.

Откуда берутся сами пары? Не подбором. Каждая — ответ на один вопрос: какой случайной величиной мы считаем правильные ответы \(t_n\). Дальше работает один и тот же рецепт, maximum likelihood: выбрать веса, при которых наблюдённые ответы самые вероятные. Минус логарифм этой вероятности, из которого выброшено всё, что не зависит от весов, и есть error function.

Урок 15 проходит этот рецепт шаг за шагом. Отсюда и совет на слайде 52 лекции 2: error function строят из того, что известно о данных, а не берут готовой.