Ручки, которые сеть не крутит сама

Два вида чисел в одной сети

Представь, что печёшь хлеб в незнакомой духовке. Тесто поднимается само: это работа процесса, ты в неё не вмешиваешься. А температуру, время и высоту противня выставляешь ты, причём до того, как закрыть дверцу. Ошибку увидишь, только когда буханка готова. Каждая проба стоит целой буханки.

У нейросети числа делятся так же. Одни подбирает сам процесс обучения, другие задаёшь ты перед запуском.

Одну конкретную расстановку всех ручек будем называть конфигурацией и обозначать \(\theta\): например, «два слоя по 32 нейрона, \(\eta = 0.01\)». И слово, и буква — из конспекта. На слайдах третьей лекции общей буквы для набора ручек нет: каждая названа отдельно — \(L\), \(J^{(l)}\), \(\gamma\).

Почему сеть не подберёт hyperparameters тем же gradient descent? Есть причина техническая: число слоёв — целое, по нему не взять производную, а \(\eta\) вообще не входит в \(E(\vb{w})\). Но главная причина глубже, и в экзаменационном ответе нужна именно она.

Возьмём одну ручку — число нейронов \(J^{(1)}\) в единственном скрытом слое — и для каждого значения обучим сеть. Чем больше \(J^{(1)}\), тем гибче модель и тем ниже ошибка на training set: большая сеть в крайнем случае просто запомнит примеры.

Если выбирать \(J^{(1)}\) по training error, победит самая большая сеть. Всегда. То же случится с любой ручкой, которая управляет сложностью: training error выберет \(\gamma = 0\), то есть никакой регуляризации, и нулевой dropout. Такие ручки приходится судить по данным, которых веса не видели, — по validation set.

Именно эту ручку профессор берёт на слайде (лекция 3, слайд 13, "Cross-validation and Hyperparameters Tuning"). Для каждого значения \(J^{(1)}\) сеть обучают с early stopping из прошлого урока и записывают validation error в точке остановки \(k_{ES}\). На слайде это число обозначено \(E_{ES}^{J^{(1)}}(x|w)\): снизу пометка early stopping, сверху число нейронов. Потом эти числа сравнивают между собой.

У рисунка на слайде две подписи. У графика с кривыми обучения: "Generalization error with J neurons in 1 layer". Число \(E_{ES}^{J^{(1)}}(x|w)\) служит оценкой того, как сеть с таким числом нейронов поведёт себя на новых данных. У графика с точками: "Chose model with best validation error", то есть бери модель с наименьшей ошибкой на validation set. На слайде напечатано именно "chose"; это опечатка, читать и писать надо "choose".

На рис. 1 правая ветвь validation error заметно растёт, а на слайде она почти плоская. Противоречия нет: на слайде каждая сеть остановлена в своей лучшей точке \(k_{ES}\), и большая сеть не успевает так сильно заучить шум. Главное у двух картинок общее: лучшая модель — не самая большая.

Конспект записывает то же правило в общем виде: не для одной ручки, а для целой конфигурации \(\theta\).

\(E_{\mathrm{val}}(\theta_i)\) — обозначение конспекта. На слайдах та же величина записана для каждой ручки по-своему: \(E_{ES}^{J^{(1)}}(x|w)\), когда выбирают число нейронов (лекция 3, слайд 13), и \(E_{\gamma}^{VAL}\), когда выбирают \(\gamma\) (лекция 3, слайд 16). И ещё одна мелочь: на осях этих слайдов написано \(E(x|w)\). Это та же error function, что \(E(\vb{w})\) во второй лекции, только в скобках названы ещё и данные \(x\), на которых она посчитана.

Parameters подбирает gradient descent на training set, hyperparameters — ты или алгоритм поиска на validation set.

Пульт: какая ручка что делает

Список ручек у обычной Feed Forward Neural Network короткий. Его полезно сразу разложить на три кучки — по тому, что ручка делает со сложностью модели.

• Добавляют сложность. Число слоёв \(L\) (глубина) и число нейронов в слое \(J^{(l)}\) (ширина): это те две ручки, которые названы на слайде (лекция 3, слайд 13). Больше — модель гибче. Сюда же относится длительность обучения, но её подбирает early stopping из прошлого урока.
• Отнимают сложность. Сила регуляризации \(\gamma\) — множитель перед штрафом в weight decay (лекция 3, слайд 15; в конспекте regularization strength; урок 22). И dropout rate — доля нейронов, которые выключаются на каждом шаге обучения; на слайде это вероятность \(p_j^{(l)}\), например 0.3 (лекция 3, слайд 17; урок 23). Больше — модель скованнее.
• Управляют самим спуском. Learning rate \(\eta\) и batch size \(M\) — сколько примеров идёт в одну оценку градиента. Они не меняют набор функций, доступных сети. Они решают, дойдёт ли спуск до хорошей точки и как быстро.

В конспекте то же собрано в Table 2 на стр. 156. Ниже она в исправленном виде и с добавленной строкой про batch size.

Отдельно про batch size: здесь конспект ошибается в направлении. На слайде градиент оценивается по mini-batch из \(M\) примеров вместо всех \(N\) (лекция 2, слайд 28):

Это среднее по случайной выборке. Из Applied Statistics ты знаешь, как оно себя ведёт: выборочное среднее не смещено, а его дисперсия падает как \(1/M\). Меньше mini-batch — оценка шумнее, а не точнее.

Один цикл на всех

Как узнать \(E_{\mathrm{val}}(\theta)\) для одной конфигурации? Способ один: обучить сеть с этими настройками от начала до конца и измерить ошибку на validation set. Одна проба — одно полное обучение, одна «буханка». Поэтому вся наука о подборе hyperparameters сводится к вопросу, как потратить поменьше проб.

Процедура из конспекта (стр. 157–158) укладывается в пять шагов.

1. Задать кандидатов: список конфигураций \(\Theta\).
2. Для каждой \(\theta_i\) обучить сеть на \(D_{\mathrm{train}}\) и посчитать \(E_{\mathrm{val}}(\theta_i)\) на \(D_{\mathrm{val}}\).
3. Выбрать \(\theta^{*}\) с наименьшей validation error.
4. Оставить эту модель — или обучить заново с \(\theta^{*}\) на \(D_{\mathrm{train}} \cup D_{\mathrm{val}}\), чтобы веса увидели больше данных. Плата за второй вариант: следить за validation error уже не на чем, поэтому число эпох берут то, которое early stopping нашёл раньше (урок 20).
5. Один раз измерить ошибку на отложенном \(D_{\mathrm{test}}\).

На слайдах та же процедура расписана для одной ручки, для \(\gamma\) (лекция 3, слайд 16, "Recall Cross-validation and Hyperparameters Tuning"). Слайд открывается фразой "You can use cross-validaton to select the proper \(\gamma\)" и перечисляет пять действий. В слове "cross-validation" на нём пропущена буква.

1. "Split data in training and validation sets".
2. "Minimize for different values of \(\gamma\)": для каждого значения из списка веса подбирают на training set, минимизируя \(E_{\gamma}^{TRAIN}\).
3. "Evaluate the model": на validation set считают \(E_{\gamma}^{VAL}\).
4. "Chose the \(\gamma^{*}\) with the best validation error".
5. "Put back all data together and minimize": с найденной \(\gamma^{*}\) сеть обучают заново на всех данных, минимизируя \(E_{\gamma^{*}}\).

Посмотри на среднюю строку: в \(E_{\gamma}^{VAL}\) штрафа нет. Штраф нужен только во время обучения, а сравнивают модели по чистой ошибке на отложенных данных. На графике слайда отмечены значения \(\gamma = 0.1,\ 1,\ \dots,\ 5,\ \dots,\ 100\), а кривая \(E_{\gamma}^{VAL}\) похожа на букву U: слева штраф слишком слаб, справа слишком силён. Подпись под графиком: "Chose \(\gamma^{*} = 5\) with best validation error".

Сравни со списком из конспекта. Действия 2–4 слайда — это шаги 1–3: список значений \(\gamma\), обучение и оценка для каждого, выбор лучшего. "Put back all data together and minimize" — второй вариант шага 4; первого варианта, оставить модель как есть, на слайде нет. Шага 5 на этом слайде тоже нет: test set профессор вводит раньше, когда разбирает термины (лекция 3, слайд 5). И ещё про слово "cross-validation": на слайдах это общее название для любого использования данных и для обучения модели, и для оценки её ошибки на новых данных. Одно разбиение hold-out, как здесь, сюда тоже входит (лекция 3, слайд 6).

На обоих слайдах (лекция 3, слайды 13 и 16) кандидатов просто перечисляют: \(J^{(1)} = 1,\ 2,\ \dots,\ 9\) и \(\gamma = 0.1,\ 1,\ \dots,\ 100\). Перебор готового списка значений одной ручки — это grid search в одном измерении, хотя такого названия на слайдах нет. Откуда брать кандидатов, когда ручек несколько, слайды не говорят. Конспект отвечает на это тремя методами: grid search, random search и Bayesian optimisation. Всё, что дальше в уроке сказано про эти три метода, выходит за рамки слайдов: источник — конспект (стр. 158–163) и материалы из списка в конце урока. Все три — один и тот же цикл. Они отличаются единственной строкой: кто предлагает следующую \(\theta\).

То же псевдокодом. Листинги 5–8 конспекта — четыре варианта этих строк, учить их по отдельности не нужно.

best_err = +inf
repeat until the budget is spent:
    theta = PROPOSE(history)
    # train
    f = A(D_train, theta)
    # evaluate
    e = E_val(f, D_val)
    history += (theta, e)
    if e < best_err:
        best_err = e
        theta_star = theta
retrain on D_train + D_val
report E_test once

Зачем третий набор данных

Шаг 5 в конспекте помечен как необязательный. Это ошибка, и вот почему. Каждая \(E_{\mathrm{val}}(\theta_i)\) посчитана по конечной выборке, в ней есть шум: одной конфигурации с validation set повезло, другой нет. Выбирая минимум из многих шумных чисел, ты систематически выбираешь ту, которой повезло. Её validation error окажется ниже настоящей ошибки на новых данных — и тем заметнее, чем больше конфигураций участвовало в отборе.

Крайний случай показывает это лучше всего. Пусть 20 конфигураций на самом деле одинаково хороши, а их \(E_{\mathrm{val}}\) различаются только шумом.

Слайды разводят роли наборов так же (лекция 3, слайд 5): "Validation set: the data used to perform model selection", "Test set: the data used to perform final model assessment". Поэтому подпись "Generalization error with J neurons in 1 layer" (лекция 3, слайд 13) читай аккуратно. \(E_{ES}^{J^{(1)}}(x|w)\) — оценка ошибки обобщения, по которой модели сравнивают между собой. Для победителя она занижена, и итоговую оценку даёт test set.

Если данных мало и отдельный validation set — роскошь, вместо одного разбиения берут K-fold cross-validation (урок 19): каждая конфигурация обучается \(K\) раз, а её \(E_{\mathrm{val}}\) — среднее по fold'ам, на слайдах \(\hat{E}\) (лекция 3, слайд 9). Цена подбора растёт в \(K\) раз. Об этом же две подписи на слайде про термины (лекция 3, слайд 10): K-fold "more common here for model selection (hyperparameter tuning)" и "Beware the number of models you get and how much it cost to train!".

Число эпох в перебор обычно не включают: early stopping подбирает его внутри каждого обучения бесплатно.

Grid search против random search

Grid search: все клетки таблицы

Для каждой ручки выписывают несколько значений и обучают сеть для каждой комбинации. Пример из конспекта:

Список кандидатов — декартово произведение этих множеств, а его размер — произведение их размеров.

В примере это \(3 \cdot 3 \cdot 3 = 27\) обучений, с 5-fold cross-validation — 135. Метод простой и хорошо параллелится: клетки независимы. Беда в показателе степени. Шесть ручек по пять значений — уже \(5^6 = 15\,625\) обучений. Grid search годится, только когда ручек две-три.

Random search: бросок костей

Вместо таблицы каждой ручке назначают распределение и \(N\) раз независимо бросают все ручки сразу: \(\theta_i \sim P(\theta)\). Здесь \(N\) — число проб, как в конспекте, а не размер training set. Бюджет \(N\) выбираешь ты, и он не обязан быть произведением: можно остановиться после любого обучения или добавить ещё десять. Броски независимы, поэтому параллелится метод так же легко, как сетка.

Слабых мест у него два, и конспект называет оба. Метод по-прежнему слепой: следующая проба не учитывает предыдущие. И гарантий нет: при невезении все \(N\) точек лягут мимо хорошей области.

А теперь задача из начала урока. Доска ниже модельная: validation error на ней сильно зависит от одной ручки и почти не зависит от другой.

У этого наблюдения есть название: low effective dimensionality, низкая эффективная размерность. Validation error обычно сильно зависит от одной-двух ручек из многих, причём от каких именно — заранее неизвестно. Сетка тратит обучения на то, чтобы повторять одни и те же значения важной ручки при разных значениях неважной. Случайные точки не повторяются ни по одной оси.

Сколько бросков нужно

У random search есть ещё одно удобное свойство: шанс попасть в хорошую область считается в одну строку.

1. Назовём «хорошей» лучшую долю \(q\) области поиска, например \(q = 0.05\). Одна случайная конфигурация попадает туда с вероятностью \(q\), а промахивается с вероятностью

   \[ 1 - q . \]

2. Броски независимы, поэтому вероятности промахов перемножаются. Все \(N\) конфигураций мимо:

   \[ (1 - q)^N . \]

3. «Хотя бы одна попала» — противоположное событие:

   \[ P = 1 - (1 - q)^N . \]

4. Подставим \(q = 0.05\). Вероятность растёт быстро:

   \[ N = 10:\ 0.40 \qquad N = 20:\ 0.64 \] \[ N = 30:\ 0.79 \qquad N = 60:\ 0.95 \]

5. Сколько бросков нужно, чтобы вероятность была не меньше заданной \(P\)? Перенесём единицу и возьмём логарифм обеих частей:

   \[ (1 - q)^N \le 1 - P \] \[ N \ln(1 - q) \le \ln(1 - P) \]

   Число \(\ln(1 - q)\) отрицательно, поэтому при делении на него знак неравенства переворачивается:

   \[ N \ge \frac{\ln(1 - P)}{\ln(1 - q)} \]

   Для \(P = 0.95\) и \(q = 0.05\) получается \(N \ge 58.4\), то есть 59 обучений. В формуле нет числа ручек: шестьдесят бросков с вероятностью 0.95 дают конфигурацию из лучших 5 %, сколько бы hyperparameters ни перебиралось.

По какой шкале бросать

Ручки \(\eta\) и \(\gamma\) действуют как множители: шаг от 0.001 к 0.01 так же значим, как от 0.01 к 0.1. Поэтому их перебирают по логарифмической шкале: равномерно бросают не саму \(\eta\), а её показатель степени.

Это и есть LogUniform. Что случится, если равномерно бросать саму \(\eta\), видно на рис. 6.

Вторая практическая привычка — искать в два захода, от грубого к точному (coarse to fine). Сначала широкий диапазон и мало проб: цель — понять, в какой области вообще есть жизнь. Потом диапазон сужают вокруг лучших точек и бросают снова.

Bayesian optimisation: поиск с блокнотом

У grid и random общий недостаток: они слепые. Девятая проба выбирается так, будто первых восьми не было. Опытный пекарь так не делает. После каждой буханки он записывает результат в блокнот, прикидывает, как вкус зависит от настроек, и следующую пробу ставит туда, где ждёт лучшего, — или туда, где ещё ничего не понятно.

Bayesian optimisation делает именно это. Она считает \(f(\theta) = E_{\mathrm{val}}(\theta)\) дорогим «чёрным ящиком» и на каждом шаге повторяет четыре действия.

1. Surrogate model (модель-заместитель). По уже сделанным пробам \(H = \{(\theta_i, e_i)\}\) строится дешёвая вероятностная модель функции \(f\), например Gaussian Process или Tree-structured Parzen Estimator (в конспекте — «Tree Parzen Estimator»). Для каждой \(\theta\) она выдаёт два числа: прогноз \(\mu(\theta)\) и неуверенность \(s(\theta)\). Рядом с обученными точками \(s\) мала, вдали от них велика.
2. Acquisition function (функция полезности пробы). По \(\mu\) и \(s\) считается, насколько выгодно обучить сеть в точке \(\theta\). Она взвешивает exploitation — идти туда, где прогноз хороший, — и exploration — идти туда, где неуверенность велика.
3. Следующая проба ставится в максимум acquisition: \(\theta_{\mathrm{next}} = \argmax_{\theta}\, a(\theta \mid H)\).
4. Сеть обучается с \(\theta_{\mathrm{next}}\), измеряется \(E_{\mathrm{val}}\), пара добавляется в \(H\), и всё повторяется с первого пункта.

Простейшая acquisition — оптимистичная оценка: берём прогноз и вычитаем из него неуверенность с коэффициентом \(\kappa\). Получается ответ на вопрос «насколько хорошо там может оказаться». Чем эта нижняя граница ниже, тем точка интереснее, поэтому acquisition — она же со знаком минус.

Бюджет в Listing 8 конспекта устроен так: первые \(N_{\mathrm{init}}\) проб случайные, потому что блокнот пуст и прогноз строить не по чему. Дальше цикл идёт до общего числа обучений \(T\). Когда бюджет исчерпан, ответ — не минимум surrogate, а лучшая из реально обученных конфигураций:

За ум приходится платить. Плюсы: нужно гораздо меньше обучений, поиск подстраивается под уже увиденное, и это окупается, когда одно обучение идёт часами. Минусы: метод сложнее в реализации, плохо ладит с дискретными ручками вроде числа слоёв, каждая итерация дороже. И ещё один минус, которого в конспекте нет: в базовом виде поиск последовательный. Следующую пробу нельзя выбрать, пока не закончилась предыдущая, а клетки сетки и случайные броски можно раздать на сто машин сразу.

Назад к девяти обучениям

Вернёмся к задаче из начала. Таблица 3 × 3 кажется надёжнее, потому что ровно покрывает плоскость. Но validation error зависит не от места на плоскости, а от значений отдельных ручек, и обычно в основном от одной. По этой одной ручке таблица делает всего три разные пробы, по три раза каждую. Девять случайных точек делают девять разных проб по каждой ручке сразу, какая бы из них ни оказалась важной.

Таблица выигрывает, только если линия сетки случайно прошла по дну долины. А где долина, заранее неизвестно — иначе не пришлось бы искать.

Отсюда рабочий порядок действий.

1. Выпиши ручки и диапазоны. Для \(\eta\) и \(\gamma\) — на log-шкале.
2. Первый заход — random search по широким диапазонам с небольшим бюджетом.
3. Посмотри на результаты по каждой ручке отдельно, как в полосках на доске. Какая из них важная? Сузь диапазоны вокруг лучших проб и повтори.
4. Если одно обучение идёт часами, переходи на Bayesian optimisation.
5. Внутри каждого обучения оставь early stopping: число эпох подберётся само.
6. Победителя один раз проверь на test set. Только это число можно называть оценкой обобщения.