Честный экзамен для модели

Почему нельзя верить ошибке на обучающих данных

Представь подготовку к экзамену по «temi d'esame» прошлых лет. Ты решаешь одни и те же задачи, пока не перестаёшь в них ошибаться, а потом проверяешь себя — на них же. Десять из десяти. Это оценка памяти. О том, решится ли новая задача, она почти ничего не говорит.

С сетью всё ещё жёстче. Она не просто «видела» обучающие примеры: её веса подобраны так, чтобы ошибка именно на этих примерах стала как можно меньше. Ошибка на данных, по которым подбирали веса, называется training error (ошибка обучения).

Конспект показывает это на полиномах, знакомых по прошлому уроку: чем выше степень, тем гибче модель. Прежде чем смотреть на рисунок, реши. Модель степени 14 даёт training error 0.043, модель степени 3 — 0.069. Какую из двух стоит взять?

По training error побеждает степень 14. Но на новых точках она ошибается на 0.26, а степень 3 — на 0.18. Гибкая модель потратила свою гибкость на то, чтобы пройти через шум в обучающих точках, и за их пределами это только мешает.

На слайде "How to Measure Generalization?" (лекция 3, слайд 4) этот вывод записан так: "Training error/loss is not a good indicator of performance on future data". Причин на слайде три. Первую конспект на стр. 132 делит на две, поэтому в списке ниже пунктов четыре.

• Модель видела эти данные. Веса оптимизировали ровно ту ошибку, которой теперь хотят измерить качество.
• Optimism bias. Оценка на данных, по которым подгоняли модель, смещена в приятную сторону — тем сильнее, чем модель гибче. На слайде эти два пункта — одна фраза: "The classifier has been learned from the very same training data, any estimate based on that data will be optimistic".
• Новые данные не повторят обучающие. На слайде: "New data will probably not be exactly the same as training data". После запуска придут другие точки из того же источника. Как модель ведёт себя между обучающими точками, training error не измеряет вовсе.
• Закономерности находятся даже в шуме. На слайде: "You can find patterns even in random data". Сети из загадки выучили случайные метки. Нулевая training error не доказывает, что в данных вообще было что учить.

То же самое строго

Нужны два числа. Первое мы умеем считать, второе — нет: ради его оценки и написан весь урок.

\(E_{\text{gen}}\) — это generalization error (ошибка обобщения); в конспекте она названа true risk, а \(E_{\text{train}}\) — empirical risk. Посчитать \(E_{\text{gen}}\) нельзя: всех возможных данных ни у кого нет. В уроке 17 те же две ошибки записаны как \(\hat E_{\text{train}}\) и \(E\); здесь у второй появился индекс, потому что ошибок скоро станет четыре.

Пусть \(D\) — случайный набор обучающих примеров: сегодня достались одни \(N\) штук, в другой раз достались бы другие. \(\hat{\vb{w}}\) — веса, которые обучение нашло на \(D\) (будем считать, что оно дошло до минимума \(E_{\text{train}}\)). \(\vb{w}^{*}\) — лучшие возможные веса, с наименьшей \(E_{\text{gen}}\). Их никто не знает, но они существуют.

1. Для любых весов, выбранных не глядя на \(D\), training error — честная оценка. Это среднее по \(N\) случайным примерам, и в среднем по всем возможным \(D\) оно попадает в цель:

   \[ \E_D\bigl[E_{\text{train}}(\vb{w})\bigr] = E_{\text{gen}}(\vb{w}) \]

2. Обучение выбирает веса как раз глядя на \(D\): берёт те, у которых training error наименьшая. Значит, она не больше, чем у любых других весов — в том числе у \(\vb{w}^{*}\):

   \[ E_{\text{train}}(\hat{\vb{w}}) \le E_{\text{train}}(\vb{w}^{*}) \]

3. Усредним обе части по всем \(D\). Веса \(\vb{w}^{*}\) от \(D\) не зависят, поэтому к правой части применим шаг 1:

   \[ \E_D\bigl[E_{\text{train}}(\hat{\vb{w}})\bigr] \le E_{\text{gen}}(\vb{w}^{*}) \]

4. С другой стороны, \(\vb{w}^{*}\) — лучшие веса по \(E_{\text{gen}}\). Никакие обученные веса их не превзойдут:

   \[ E_{\text{gen}}(\vb{w}^{*}) \le E_{\text{gen}}(\hat{\vb{w}}) \]

5. Склеим шаги 3 и 4 (шаг 4 тоже усредним по \(D\)):

   \[ \E_D\bigl[E_{\text{train}}(\hat{\vb{w}})\bigr] \le \E_D\bigl[E_{\text{gen}}(\hat{\vb{w}})\bigr] \]

   Словами: среднее от минимума не больше минимума от среднего. Чем гибче модель, тем глубже она проваливается в минимум на шаге 2 и тем шире разрыв.

В среднем training error обученной модели не больше её настоящей ошибки — но только в среднем.

Три части данных — три разные работы

Раз проверять на обучающих примерах нельзя, нужны другие. На том же слайде (лекция 3, слайд 4) это следующая строка: "We need to test on an independent new test set". Способов получить такой набор там три.

• "Someone provides you a new dataset". Новые данные приносит кто-то другой. Так устроены соревнования: итог считают на примерах, которых участники не видели.
• "Split the data and hide some of them for later evaluation". Свои данные режут и часть прячут до проверки. Это hold-out, главный способ этого урока.
• "Perform random subsampling (with replacement) of the dataset". Примеры набирают случайно и с возвращением: вытянутый пример кладут обратно, и он может попасться ещё раз. На такой выборке модель учат, а проверяют на примерах, которые в неё не попали. В статистике это bootstrap; слайд его по имени не называет. Облачко рядом с этим пунктом: "Done for training on small datasets" — так делают, когда данных мало и прятать часть насовсем слишком дорого.

Последняя строка слайда — про классификацию: при любом разрезе нужно сохранять доли классов (stratified sampling). До неё дойдём в разделе про hold-out.

Дальше речь о втором способе: часть данных прячут от обучения. Спрятанное и оставшееся надо как-то называть. На слайде "Clearing the terms …" (лекция 3, слайды 5 и 10) терминов шесть, и многие отличаются одним словом. Перепутать их на экзамене легче всего. В кавычках ниже — формулировки слайда слово в слово.

В метафоре с экзаменом: training set — решённые «temi d'esame», по которым учишься. Validation set — пробный экзамен: по нему решаешь, как готовиться дальше и когда остановиться. Test set — настоящий экзамен, и сдают его один раз.

У каждой части своя работа, и у каждой работы своё английское название: parameter fitting, model selection и model assessment. На слайде 5 они сокращены до fitting, selection и assessment; в конспекте на стр. 133 первая работа названа model fitting. Для набора из 1000 примеров и разреза 70 % / 15 % / 15 % получается так.

На слайде "Clearing the terms …" те же части нарисованы в два приёма. Сначала training dataset делят на training data и test data. Потом training data делят на training set и validation set. Test data больше не режут: это и есть test set.

Подписи на схеме говорят, что и когда разрешено. Всё, что на рис. 3 левее пунктира (на слайде — выше черты), названо "Model Development" и "Design". Над словом "Design" нарисована круговая стрелка: модель здесь можно менять и перепроверять сколько угодно раз. Правее пунктира — "Pre-production" и "Engineering": готовую модель один раз проверяют на test data перед запуском. Стрелка из "Design" в "Engineering" на слайде есть, обратная перечёркнута красным крестом. После проверки на test set к подбору модели не возвращаются.

Слайд 10 повторяет эту схему и добавляет три облачка про K-fold cross-validation, которую разбирает урок 19. На первом разрезе, training data / test data, её можно применять "for model assessment". Чаще её применяют на втором, training set / validation set: "more common here for model selection (hyperparameter tuning)". Третье облачко предупреждает: "Beware the number of models you get and how much it cost to train!"

Все три ошибки считаются по одной формуле и с одними и теми же весами. Меняется только то, по каким примерам идёт сумма.

На слайдах эти ошибки выглядят чуть иначе (лекция 3, слайд 16): \(E_\gamma^{\mathit{TRAIN}}\) и \(E_\gamma^{\mathit{VAL}}\). Название части стоит сверху, суммы идут до \(N_{\mathit{TRAIN}}\) и \(N_{\mathit{VAL}}\), а на число примеров не делят. Нижний \(\gamma\) и добавка к \(E_\gamma^{\mathit{TRAIN}}\) — регуляризация из урока 22.

Конспект пишет все три суммы «от \(i = 1\)», и из-за этого не видно главного: наборы индексов разные и не пересекаются. Градиент берут только от \(E_{\text{train}}\). Две другие ошибки только вычисляют.

Отсюда и разница между параметрами и гиперпараметрами (hyperparameters). Параметры — веса — подбирает gradient descent по training set. Гиперпараметры — learning rate \(\eta\), число скрытых нейронов, силу регуляризации, dropout rate, число эпох — выбираешь ты, сравнивая validation error разных вариантов. Подробно о них — в уроке 21.

Обычно \(E_{\text{val}}\) считают после каждой эпохи и рисуют рядом с \(E_{\text{train}}\). Если первая начала расти, пока вторая продолжает падать, сеть переобучается: на этом наблюдении построен early stopping из урока 20.

Зачем test set, если уже есть validation set

Кажется, что validation set тоже «невиданный»: в градиент он не попадал. Но посмотри, что с ним делают. Ты обучаешь двадцать вариантов сети, у каждого своя validation error, и берёшь вариант с наименьшей. Каждое из двадцати чисел — оценка с шумом. Наименьшее оказалось наименьшим отчасти потому, что модель хороша, а отчасти потому, что ей повезло именно с этими 150 примерами.

Это тот же механизм, что в выводе выше: минимум из шумных оценок в среднем занижен. Выбор — тоже подгонка, только подгоняют не веса, а гиперпараметры. Поэтому validation error выбранной модели оптимистична, и для итоговой оценки нужна третья часть, которая не участвовала вообще ни в чём. Только для неё \(E_{\text{test}}\) — несмещённая оценка \(E_{\text{gen}}\): шумная, но без систематического сдвига.

Training set учит веса, validation set выбирает модель, test set только измеряет — один раз.

Hold-out: один разрез и его цена

Самый простой способ получить две или три части — отложить (hold out) куски данных один раз и больше разрез не менять. И слайды, и конспект открывают этим методом тему cross-validation: так называют любое использование training dataset сразу для двух дел — обучить модель (fitting и selection) и оценить её ошибку на новых данных. На слайде (лекция 3, слайд 6) это одна фраза: "Cross-validation is the use of the training dataset to both train the model (parameter fitting + model selection) and estimate its error on new data". В одном разрезе части ролями не меняются, так что слово cross здесь взято на вырост: ротация начнётся в уроке 19.

Первый пункт под определением на слайде — про наш метод: "When lots of data are available use a Hold Out set and perform validation". Рецепт hold-out из конспекта:

1. перемешать training dataset;
2. разрезать, например 70 % / 15 % / 15 %;
3. обучать на training set;
4. настраивать по validation set: гиперпараметры, early stopping;
5. один раз измерить ошибку на test set.

Конспект называет это «miniature deployment test»: репетиция запуска на данных, которые играют роль будущих. На схеме слайда 5 (рис. 3) та же мысль записана одним словом: у test data стоит подпись "Pre-production". Заодно это первая практическая проверка inductive hypothesis из прошлого урока — и здесь в конспекте оговорка.

Какую часть считать «отложенной»? На слайде 6 это validation set: на рисунке training dataset разрезан на training set и validation set, а стрелка разреза подписана "Validation samples". Конспект на стр. 137 подписывает словом hold-out именно test set, а на стр. 138 разбирает риски для validation set. В этом уроке отложенная часть — любая, которую не показали обучению: всё сказанное ниже про шум и смещение верно для обеих.

Сколько шума в одном числе

Оценка на отложенной части — среднее по конечному числу примеров, поэтому она шумит. Для классификатора шум легко посчитать. Каждый отложенный пример — бросок монеты «ошибся / не ошибся» с вероятностью ошибки \(p\). Доля ошибок на \(n\) примерах колеблется вокруг \(p\) со стандартной ошибкой, знакомой по Applied Statistics:

Пусть модель ошибается в 10 % случаев. На 150 отложенных примерах \(\text{SE} = \sqrt{0.1 \cdot 0.9 / 150} \approx 0.024\), то есть 2.4 процентного пункта. Примерно в 95 % случаев измеренная ошибка лежит в пределах \(\pm 2\,\text{SE}\): где-то между 5 и 15 %. На 1000 примерах SE падает до 0.95 пункта, на 10 000 — до 0.3.

Следствие для выбора модели: две сети, которые различаются на 2 пункта, на 150 примерах надёжно не различить. Разница меньше одной стандартной ошибки.

Две ошибки самой оценки

У оценки, как у любой статистики, есть разброс и смещение. Variance: число зависит от того, какие именно примеры попали в отложенную часть, и разброс растёт, когда эта часть мала. Bias: модель обучена не на всех данных, а только на их части, и поэтому обычно чуть хуже той, которую в итоге обучат на всём. Оценка смещена в пессимистичную сторону.

Про первую из этих ошибок на слайде есть облачко (лекция 3, слайд 6): "Hold out error might be biased by the specific split!" Запомни фразу как она есть: так на слайде назван недостаток hold-out. Слово biased в ней бытовое: число перекошено тем, какие примеры случайно попали в отложенную часть. Другой разрез перекосит его в другую сторону, поэтому на языке статистики это variance, а bias — только систематический сдвиг. В развёрнутом ответе приведи фразу слайда и сразу расшифруй её этими двумя словами.

Конспект собирает это в четыре риска (стр. 138): отложенная часть случайно оказалась непохожей на все данные, и оценка завышена или занижена; данных мало; классы несбалансированы; результат зависит от одного-единственного разреза. Второй риск — это дилемма.

Обе стороны дилеммы видны в следующем опыте.

Stratified sampling: чтобы редкий класс не пропал

В задаче классификации у случайного разреза есть ещё одна беда — её было видно в третьем опыте. Пример конспекта: 90 % данных — класс A, 10 % — класс B. Отложенная часть мала, и редкий класс может в неё почти не попасть. Тогда ошибка на ней ничего не скажет о том, как модель справляется с классом B.

Насколько это вероятно? Пусть в наборе 50 примеров, пять из них — класс B, а в test set откладывают 10. Чтобы среди отложенных не было ни одного B, каждый из пяти должен попасть в 40 мест training set:

Почти каждый третий разрез.

Лекарство на слайде записано одной строкой, с восклицательным знаком (лекция 3, слайд 4): "In classification preserve class distribution, i.e., stratified sampling!"

Когда одного разреза хватает

На слайде условие одно (лекция 3, слайд 6): "When lots of data are available". В конспекте условий три. Данных много: «at least a few thousand samples» — это ориентир, а не закон. Обучение дорогое, и на каждую конфигурацию сил хватает только на один запуск. Колебания между разрезами меньше, чем разница между моделями, которые ты сравниваешь.

В deep learning все три условия обычно выполнены, поэтому hold-out там стандарт. При миллионе примеров хорош даже разрез 98 % / 1 % / 1 %: 10 000 отложенных примеров дают SE около 0.3 пункта. Когда данных мало, одного разреза недостаточно — об этом следующий урок.

Утечка: когда билеты известны заранее

Экзамен честен, пока билеты лежат в сейфе. Для модели сейф — это правило, которое конспект называет golden rule.

Test set не участвует ни в одном решении о модели: ни в шаге градиента, ни в выборе гиперпараметров, ни в предобработке. Его открывают один раз, в самом конце.

Допустим, ты смотришь на test error, огорчаешься, меняешь что-нибудь в сети и измеряешь снова. С этого момента test set работает вторым validation set: по нему уже сделан выбор, и его оценка станет оптимистичной. Честное число после этого дадут только новые данные. На рис. 3 это перечёркнутая стрелка: из Engineering обратно в Design дороги нет.

Конспект перечисляет три случая: test set попал в обучение или настройку; среди признаков есть такие, которых в реальной работе не будет; одни и те же примеры оказались и в training, и в test set. На практике к ним добавляется четвёртый, и выглядит он невинно.

Перед обучением признаки принято стандартизовать — это та же z-стандартизация, что в Applied Statistics: \(z = (x - \mu)/\sigma\). Числа \(\mu\) и \(\sigma\) тоже вычисляются по данным. Значит, это такие же выученные параметры, как веса, и к ним относится тот же вопрос: по каким примерам их считали?

Ответ на загадку

Теперь можно вернуться к сетям, выучившим случайные метки. Их training error равна нулю, потому что это число измеряет одно: насколько хорошо веса подогнаны под свои же примеры. Гибкая сеть подгонится под что угодно. Отложи авторы часть картинок в validation set, ошибка на них осталась бы на уровне угадывания: метка от картинки не зависит, и запоминание на новые примеры не переносится. Одно число на отложенных данных сразу показало бы, что сеть ничего не знает.

А вот три обещанных способа сделать экзамен нечестным.

1. Спрашивать по тем же задачам, на которых учились. Это training error: в среднем она занижена, и тем сильнее, чем гибче модель.
2. Задать слишком мало вопросов. Маленькая отложенная часть даёт лотерейный билет вместо оценки: разброс \(\sqrt{p(1-p)/n}\), а редкий класс может в неё вовсе не попасть.
3. Дать подсмотреть билеты. Это data leakage — от стандартизации по всем данным до «я только разок посмотрю на test error и поправлю сеть».