Откуда берутся функции ошибки

Улики и подозреваемые: что такое likelihood

В уроках 13 и 14 мы научились уменьшать \(E(w)\): backpropagation считает градиент, gradient descent делает шаг. Остался вопрос, что уменьшать. Ответ приходит из статистики и называется maximum likelihood estimation (MLE) — оценка наибольшего правдоподобия.

Начнём с монетки. Её подбросили 10 раз: 7 орлов, 3 решки. Есть три «подозреваемых» — три гипотезы о том, с какой вероятностью \(p\) у этой монетки выпадает орёл: 0.5, 0.7 или 0.9. Следователь рассуждает так: если бы всё было устроено по этой гипотезе, насколько ожидаемы были бы такие улики? Для каждой гипотезы считаем вероятность увидеть именно нашу серию бросков: \(p^7 (1-p)^3\).

Данные не менялись, менялась только гипотеза. Лучше всех данные объясняет \(p = 0.7\) — ровно доля орлов \(7/10\). В этом весь принцип, и на слайде 35 лекции 2 он записан одной строкой: "Maximum Likelihood: Chose parameters which maximize data probability".

Откуда произведение? Из предположения i.i.d. — independent and identically distributed. Independent: наблюдения не влияют друг на друга, поэтому вероятность всей серии равна произведению вероятностей отдельных бросков. Identically distributed: все наблюдения приходят из одного распределения с одними и теми же \(\theta\). Без первого не было бы произведения. Без второго у каждого наблюдения могли бы быть свои параметры, и одно общее \(\theta\) по \(N\) наблюдениям было бы не оценить.

То же самое с колоколом

У монетки данные дискретные. На слайдах 34–41 профессор разбирает непрерывный пример, он же нарисован в конспекте на стр. 109. Есть \(N\) измерений, i.i.d. из Gaussian \(N(\mu, \sigma^2)\). Ширина колокола \(\sigma\) известна, центр \(\mu\) — нет. От каждой гипотезы точка получает «оценку» — высоту колокола над собой:

Гипотезы теперь — положения колокола. На слайде 34 их три: зелёный слева, красный справа, фиолетовый посередине, и только про фиолетовый сказано: "This hypothesis makes the most of the points likely to be observed". На рис. 1 — две такие гипотезы на точках из конспекта.

Двигать колокол рукой и следить за числами полезнее, чем читать про это.

Maximum likelihood: из всех значений параметров выбираем то, при котором уже наблюдённые данные наиболее вероятны.

Рецепт из пяти шагов и зачем в нём логарифм

В виджете максимум нашёлся ползунком. На слайде 36 лекции 2 профессор даёт рецепт, как найти его на бумаге. Это готовый план ответа на любую задачу вида "derive the maximum likelihood estimator of…".

Для шагов 3–4 на слайде названы три инструмента: аналитический (решить уравнения), оптимизационный (например, множители Лагранжа) и численный — тот самый gradient descent. Для среднего Gaussian хватит производной из школы. Для сети уравнения в явном виде не решаются, и там работает спуск.

Зачем логарифм

Причин три, и все уже были видны в виджете.

Максимум не сдвигается. Логарифм монотонно возрастает: если \(L(a) \gt L(b)\), то и \(\log L(a) \gt \log L(b)\). Значение функции меняется, место максимума — нет. Функцию \(l = \log L\) называют log-likelihood.

Произведение становится суммой. \(\log(ab) = \log a + \log b\). Производная суммы — сумма производных, а производная произведения пятнадцати множителей — пятнадцать слагаемых по пятнадцать множителей в каждом.

Числа остаются числами. Произведение многих чисел меньше единицы быстро становится исчезающе малым: для 15 точек лучшее \(L\) уже порядка \(10^{-10}\), а при узком колоколе вдали от данных виджет показывает \(10^{-200}\) и меньше — на тысячах примеров компьютер округлит такое до нуля. Сумма логарифмов при этом — обычное число вроде \(-22\).

Среднее Gaussian — по рецепту

Теперь то же самое на бумаге, шаг за шагом. Прежде чем открывать очередной шаг, попробуй написать его на черновике.

1. Шаг 1: likelihood. Точки i.i.d., поэтому плотность всего набора — произведение плотностей:

   \[ L(\mu) = \prod_{n=1}^{N} \frac{1}{\sqrt{2\pi}\,\sigma}\; e^{\textstyle -\frac{(x_n-\mu)^2}{2\sigma^2}} \]

2. Шаг 2: логарифм. Логарифм произведения — сумма логарифмов, а \(\log e^{a} = a\). Множитель перед экспонентой одинаков для всех \(n\), поэтому он просто повторяется \(N\) раз:

   \[ \begin{aligned} l(\mu) = {} & N \log\frac{1}{\sqrt{2\pi}\,\sigma} \\ & - \frac{1}{2\sigma^2}\sum_{n=1}^{N}(x_n-\mu)^2 \end{aligned} \]

3. Шаг 3: производная по \(\mu\). Первое слагаемое от \(\mu\) не зависит и исчезает. У второго по chain rule появляется \(2(x_n-\mu)\cdot(-1)\):

   \[ \pd{l}{\mu} = -\frac{1}{2\sigma^2}\sum_{n=1}^{N} 2(x_n-\mu)(-1) \] \[ \pd{l}{\mu} = \frac{1}{\sigma^2}\sum_{n=1}^{N}(x_n-\mu) \]

4. Шаг 4: приравниваем к нулю. Множитель \(1/\sigma^2\) положителен, на него можно сократить:

   \[ \sum_{n=1}^{N}(x_n-\mu) = 0 \;\;\Rightarrow\;\; \sum_{n=1}^{N} x_n = N\mu \] \[ \mu^{MLE} = \frac{1}{N}\sum_{n=1}^{N} x_n \]

   Это среднее арифметическое выборки. Известная \(\sigma\) в ответ не вошла — как и было видно в виджете.

5. Шаг 5: это точно максимум? Вторая производная отрицательна при любом \(\mu\):

   \[ \frac{\partial^2 l}{\partial \mu^2} = -\frac{N}{\sigma^2} \lt 0 \]

   Значит, \(l(\mu)\) — перевёрнутая парабола с единственной вершиной. В конспекте этого шага нет, а на слайде 36 он есть: "Check that \(\theta^{MLE}\) is a maximum". Нулевая производная сама по себе обещает только стационарную точку.

Результат выглядит скромно: лучшая оценка среднего — среднее. Но посмотри на шаг 2. После логарифма от \(\mu\) зависит только \(\sum_n (x_n - \mu)^2\), причём со знаком минус. Максимизировать likelihood для Gaussian — то же самое, что минимизировать сумму квадратов. Квадрат никто не «выбирал»: он стоял в показателе экспоненты колокола.

Regression: шум Гаусса превращается в сумму квадратов

Слайд 41 лекции 2 заканчивается словами "Let’s apply this all to Neural Networks!". Замена одна: вместо постоянного центра \(\mu\) — выход сети \(g(x_n|w)\), свой для каждого входа.

Сначала история о том, как появились данные (слайд 42). Target — это ответ сети плюс случайный шум:

Если к числу \(g(x_n|w)\) прибавить Gaussian с нулевым средним, получится Gaussian с центром в \(g(x_n|w)\): \(t_n \sim N(g(x_n|w), \sigma^2)\). Колокол из рис. 1 больше не стоит на оси. Он лежит на боку и едет вдоль кривой модели — это рисунок со слайда 43.

Дальше — тот же рецепт. Неизвестное теперь не \(\mu\), а веса \(w\), но данные по-прежнему зафиксированы, и мы ищем параметры, при которых они наиболее вероятны.

1. Плотность одного target. Из \(t_n = g(x_n|w) + \epsilon_n\) следует, что \(t_n\) — Gaussian с центром в ответе сети:

   \[ p(t_n|x_n, w) = \frac{1}{\sqrt{2\pi}\,\sigma}\; e^{\textstyle -\frac{(t_n - g(x_n|w))^2}{2\sigma^2}} \]

2. Likelihood. Шум в разных примерах независим, значит плотности перемножаются:

   \[ L(w) = \prod_{n=1}^{N} \frac{1}{\sqrt{2\pi}\,\sigma}\; e^{\textstyle -\frac{(t_n - g(x_n|w))^2}{2\sigma^2}} \]

3. Логарифм. Ровно как для среднего, только на месте \(\mu\) стоит \(g(x_n|w)\):

   \[ \begin{aligned} l(w) = {} & N \log\frac{1}{\sqrt{2\pi}\,\sigma} \\ & - \frac{1}{2\sigma^2}\sum_{n=1}^{N}\bigl(t_n - g(x_n|w)\bigr)^2 \end{aligned} \]

4. Убираем то, что не зависит от \(w\). В первом слагаемом только \(N\) и известная \(\sigma\). Это константа: она поднимает или опускает всю функцию целиком и не двигает место максимума. Максимизировать остаётся только второе слагаемое:

   \[ -\frac{1}{2\sigma^2}\sum_{n=1}^{N}\bigl(t_n - g(x_n|w)\bigr)^2 \;\to\; \max_w \]

5. Убираем множитель и минус. \(\frac{1}{2\sigma^2}\) — положительная константа: растянуть функцию по вертикали не значит сдвинуть её вершину. А максимум «минус суммы» — это минимум суммы:

   \[ w^{MLE} = \argmin_w \sum_{n=1}^{N}\bigl(t_n - g(x_n|w)\bigr)^2 \]

   Справа — Sum of Squared Errors, та самая \(E(w)\) со слайда 33 лекции 2. На слайде 47 этот результат обведён.

Вот ответ на "Why should I use this?". Сумма квадратов — не дело вкуса, а следствие трёх предположений. На экзаменационный вопрос "Which assumptions did you use?" отвечай ими:

• примеры независимы — отсюда произведение, а после логарифма сумма по \(n\);
• шум гауссов с нулевым средним — отсюда квадрат (он пришёл из показателя экспоненты);
• дисперсия шума \(\sigma^2\) известна и одинакова для всех примеров — поэтому она выносится за сумму и исчезает.

Здесь должно стать уютно: метод наименьших квадратов из Applied Statistics — это maximum likelihood при гауссовых остатках, просто там \(g\) была прямой. Сеть меняет только форму \(g\), вывод остаётся тем же.

Classification: монетка превращается в cross-entropy

В бинарной classification target равен 0 или 1. История «ответ сети плюс гауссов шум» тут не годится: 0.8 плюс случайная добавка не даст ровно 0 или ровно 1. Нужна другая история о том, как появились данные.

Она на слайде 48 лекции 2, и цель там названа так: "approximate a posterior probability". Сеть выдаёт вероятность единицы при данном входе: \(g(x_n|w) = p(t_n = 1\,|\,x_n)\) (на слайде короче: \(p(t_n|x_n)\)). А сам target — бросок несимметричной монетки с этой вероятностью. Такое распределение называется Bernoulli: \(t_n \sim Be(g(x_n|w))\). Это монетка из начала урока, только у каждого входа \(x_n\) она своя, и вероятность орла у неё назначает сеть.

Чтобы \(g\) могла быть вероятностью, выход сети должен лежать между 0 и 1. Вот зачем в уроке 11 на выходе стояла sigmoid.

1. Одна формула на два исхода. Для краткости обозначим \(g_n = g(x_n|w)\). Вероятность единицы равна \(g_n\), вероятность нуля — \(1 - g_n\). Обе строчки собираются в одну:

   \[ p(t_n|x_n, w) = g_n^{\,t_n}\,(1-g_n)^{1-t_n} \]

   Проверь: при \(t_n = 1\) остаётся \(g_n\), при \(t_n = 0\) остаётся \(1 - g_n\). Степень работает как выключатель.

2. Likelihood. Примеры независимы — перемножаем:

   \[ L(w) = \prod_{n=1}^{N} g_n^{\,t_n}\,(1-g_n)^{1-t_n} \]

3. Логарифм. Произведение становится суммой, показатели степени спускаются вниз множителями:

   \[ \begin{aligned} l(w) = {} & \sum_{n=1}^{N} \bigl[\, t_n \log g_n \\ & \quad + (1-t_n)\log(1-g_n) \,\bigr] \end{aligned} \]

4. Меняем знак. Здесь нет ни констант, ни множителей, которые надо выбрасывать. Максимум \(l(w)\) — это минимум \(-l(w)\):

   \[ \begin{aligned} E(w) = {} & -\sum_{n=1}^{N} \bigl[\, t_n \log g_n \\ & \quad + (1-t_n)\log(1-g_n) \,\bigr] \end{aligned} \]

   Это binary cross-entropy — обведённая формула слайда 51.

У каждого слагаемого есть простой смысл. Из двух логарифмов в скобках выживает один — тот, что относится к случившемуся исходу. Остаётся \(-\log\) вероятности, которую модель дала тому, что произошло на самом деле. Это мера удивления. Модель сказала \(g = 0.8\), и вышла единица — штраф \(-\ln 0.8 = 0.22\). Сказала \(0.8\), а вышел ноль — штраф \(-\ln 0.2 = 1.61\), в семь раз больше.

Основание логарифма на слайдах не указано. Оно меняет \(E(w)\) только на постоянный множитель, так что минимум от него не зависит. В расчётах принят натуральный логарифм — так делает и конспект (стр. 112). Там же перед суммой стоит ещё \(\frac{1}{N}\): как и в случае SSE и MSE, это положительный множитель, и минимум он не двигает. На слайде 51 его нет.

Теперь обе истории рядом. В виджете восемь точек, модель с двумя весами и выбор, как появились targets.

Больше двух классов

Для \(K\) классов монетку заменяет игральная кость с \(K\) гранями; в конспекте это распределение названо Categorical. Target записан как one-hot вектор \(\vb{t}_n\): единица на месте правильного класса, остальные нули. Сеть через softmax выдаёт \(K\) вероятностей \(g_k(x_n|w)\) с суммой 1. Вероятность наблюдённого ответа пишется тем же приёмом со степенями-выключателями: \(\prod_k g_k^{\,t_{nk}}\). Логарифм и минус дают

Вторая строка — та же сумма в векторной записи, так она стоит на слайде 51 с подписью "Crossentropy" (в конспекте — Categorical Cross-Entropy, CCE). Из внутренней суммы выживает одно слагаемое: при \(\vb{t}_n = (0, 0, 1)\) и выходах \((0.2, 0.3, 0.5)\) штраф равен \(-\ln 0.5 = 0.69\). При \(K = 2\) формула сворачивается в binary cross-entropy.

Как придумать функцию ошибки

Обе выкладки — одна и та же операция. Скажи, каким распределением описывается target при данном входе, запиши likelihood, возьми логарифм, поменяй знак:

Это negative log-likelihood. Сумма по примерам берётся из независимости и логарифма — вот почему и сумма квадратов, и cross-entropy устроены как «сумма по обучающей выборке». А вид слагаемого задаёт выбранное распределение.

В уроке 11 эта таблица была рецептом. Теперь у каждой строки есть вывод, и видно, почему выход и функция ошибки ходят парами. Выход сети должен быть законным параметром своего распределения: любое число годится в центры колокола, число от 0 до 1 — в вероятность монетки, набор чисел от 0 до 1 с суммой 1 — в вероятности граней.

На слайде "How to Chose the Error Function?" лекции 2 (в PDF он 52-й, на самом слайде напечатан номер 53) профессор говорит то же самое шире: "Error functions define the task to be solved". И даёт три совета, как их конструировать: использовать всё, что известно или предполагается о распределении данных; использовать знания о задаче и о модели; проявлять изобретательность. Там же честная приписка: "This requires lots of trial and errors".

Вернёмся к 2, 4 и 9

Среднее 5 — это \(\mu^{MLE}\), если шум гауссов. Оно минимизирует сумму квадратов: 26 при \(\mu = 5\) против 29 при \(\mu = 4\) (выбери в первом виджете «три точки» и проверь).

Теперь другое предположение. Этого примера нет ни на слайдах, ни в конспекте: он показывает совет "use all your knowledge/assumptions about the data distribution" в действии. Пусть известно, что прибор изредка ошибается сильно, и 9 похоже как раз на такой промах. Колокол с его тонкими хвостами для этого не годится. Возьмём распределение с тяжёлыми хвостами — распределение Лапласа, \(p(x|\mu) = \frac{1}{2b}\, e^{-\abs{x-\mu}/b}\).

Рецепт тот же: произведение, логарифм, минус. В показателе теперь стоит модуль, а не квадрат, и минимизировать приходится \(\sum_n \abs{x_n - \mu}\). Минимум этой суммы — в медиане: при \(\mu = 4\) она равна \(2 + 0 + 5 = 7\), при \(\mu = 5\) — \(3 + 1 + 4 = 8\).

Так что и 5, и 4 — правильные ответы, каждый при своём предположении о шуме. Никакого «правильного самого по себе» числа нет. С сетью то же самое, и это ответ на вопрос из урока 11, почему на слайдах квадрат, а не модуль: сумма квадратов — это гауссов шум, записанный другими буквами. Веришь в него — используй её. Не веришь — рецепт у тебя в руках, выводи свою.

MLE отвечает на вопрос, что минимизировать; gradient descent и backpropagation — как.