От нейрона к сети

Нейроны встают в слои

В уроке 8 один нейрон не справился с XOR, а три справились: два провели по прямой, третий объединил их ответы. Ту сеть собрали руками под одну задачу. Теперь нужен общий чертёж, по которому собирается сеть любого размера.

Представь микшерный пульт. На каждый входящий кабель у него свой ползунок громкости, ещё есть одна ручка общего сдвига, а на выходе стоит педаль эффекта. Это один нейрон: ползунки — веса, ручка сдвига — bias (смещение), педаль — функция активации. Стойка из нескольких пультов, которые слушают одни и те же кабели, — это слой. Стойки, включённые друг за другом, — сеть. Звук идёт только вперёд, от микрофонов к колонкам.

Три вида слоёв

Input layer (входной слой) — по одному «нейрону» на признак: пиксель, показание датчика, столбец таблицы. Он ничего не считает и только раздаёт значения дальше. Параметров у него нет. На слайдах в нём \(I\) нейронов.

Hidden layers (скрытые слои) — нейроны, которые считают взвешенную сумму и пропускают её через функцию активации. Снаружи их выходы не видны, отсюда название. Каждый скрытый нейрон отвечает на свой промежуточный вопрос, как два нейрона-«прямые» в XOR. В слое \(l\) их \(J_l\).

Output layer (выходной слой) — \(K\) нейронов, которые выдают ответ сети. Какая у них активация, решает задача, а не архитектура: об этом урок 11.

Соседние слои соединены полностью: каждый нейрон слоя \(l\) получает выходы всех нейронов слоя \(l - 1\). Такой слой называют fully connected (полносвязным), или dense. У каждой связи свой вес, у каждого нейрона свой bias. Рисуют такую сеть как граф: узлы — нейроны, рёбра — связи с весами.

Слайд 17 лекции 2 описывает всю конструкцию одной фразой: «Non-linear model characterized by the number of neurons, activation functions, and the values of weights». Первые два пункта выбирает человек до обучения (это гиперпараметры, hyperparameters, — урок 21). Третий подбирает обучение.

Зачем скрытых слоёв несколько? Конспект (стр. 59) отвечает так: первые слои ловят простые узоры, например края на картинке, а следующие собирают из них сложные — формы и целые предметы. Это те самые learned features, выученные признаки из урока 3, только выстроенные лесенкой. Держи это в голове как наблюдение за обученными на картинках сетями, а не как теорему: для произвольной FFNN такой гарантии никто не давал.

У каждого веса есть адрес

В сети на рис. 2 двадцать шесть чисел. Чтобы формулы читались, каждому нужен адрес. На слайдах адрес веса состоит из трёх номеров. Посмотри на один скрытый нейрон крупным планом.

В \(w_{ji}^{(l)}\) первый индекс — куда, второй — откуда, верхний — номер слоя, в котором стоит нейрон-получатель.

Все веса одного слоя складывают в матрицу \(W^{(l)} = \{w_{ji}^{(l)}\}\). Строка \(j\) — это всё, что принадлежит нейрону \(j\). Для первого слоя сети 3–4–2:

Четыре строки — четыре скрытых нейрона. Четыре столбца — bias и три входа. Вторая строка — это ровно рис. 3. На слайде 17 лекции 2 та же мысль записана для слоя целиком: \(h^{(l)} = \{h_j^{(l)}(h^{(l-1)}, W^{(l)})\}\) — выходы слоя зависят только от предыдущего слоя и своей матрицы весов.

Теперь можно записать сеть с одним скрытым слоем и одним выходом одной формулой. Именно в таком виде она стоит на слайде 25, и с неё начинается вывод градиента в уроке 14:

Сколько в сети параметров

Параметры — это всё, что подбирает обучение: веса и biases. Считать их просто, если помнить рис. 3: параметры живут на стрелках, которые входят в нейрон. У нейрона с \(n\) входами \(n\) весов и один bias. В слое \(J_l\) нейронов, у каждого \(J_{l-1}\) входов:

Это просто размер матрицы \(W^{(l)}\): число строк на число столбцов. Для всей сети такие произведения складывают по слоям. Сеть 3–4–2 с рис. 2:

Из них 20 весов и 6 biases. А вот сеть из задачки для разгона, 784–128–64–10:

Forward pass: слева направо, слой за слоем

Посчитать ответ сети для данного входа — значит пройти по ней слева направо. Это называется forward pass (прямой проход). Хитрости нет никакой: чтобы посчитать нейрон, нужны выходы предыдущего слоя, и только они. Поэтому порядок один: сначала весь первый слой, потом весь второй, и так до выхода.

Возьмём самую маленькую настоящую сеть, 2–2–1. Скрытые нейроны с активацией \(\tanh\) (её устройство — в уроке 10, сейчас это просто кнопка на калькуляторе), выходной нейрон линейный: \(g(a) = a\). Веса запишем матрицами, bias в первом столбце:

На вход подан \(\vb{x} = (1, 2)\). Считаем по строкам матриц:

В последней строке вместо \(x_1, x_2\) стоят уже \(h_1, h_2\): выходной нейрон не видит входов сети, он видит только скрытый слой. Проверь себя на других числах.

Этот расчёт перекликается с тем, что ты знаешь из Applied Statistics. Нейрон с линейной активацией считает \(w_0 + \sum_i w_i x_i\) — ровно формулу линейной регрессии. Нейрон с сигмоидой — логистическую регрессию. Сеть делает ту же регрессию, только подаёт в неё не исходные признаки, а признаки \(h_j\), которые построил предыдущий слой. PCA тоже строит новые признаки из старых, но только линейно. Чем это ограничение плохо, видно в следующем разделе.

Сто слоёв — одна прямая

Вернёмся к пультам. Поставь два пульта подряд и убери педали эффектов. Первый пульт смешал каналы. Второй смешал то, что получилось. Но смесь смесей — это снова смесь исходных каналов, просто с другими коэффициентами. Значит, пару пультов можно заменить одним, выставив на нём ползунки как надо. Второй пульт был лишним.

В сети «убрать педаль» — значит взять linear activation function, линейную функцию активации \(g(a) = a\) (слайд 18 лекции 2; в конспекте формула (12) на стр. 62). Нейрон с ней выдаёт взвешенную сумму как есть. Производная у неё \(g'(a) = 1\), диапазон — вся числовая прямая. Проверим на формулах, что останется от сети.

1. Возьмём сеть с одним скрытым слоем. Вынесем biases \(w_{j0}\) из матриц в отдельные векторы \(\vb{b}\): так короче, и так же пишет конспект. Скрытый слой считает суммы и применяет активацию:

   \[ \vb{a}^{(1)} = W^{(1)}\vb{x} + \vb{b}^{(1)} \] \[ \vb{h} = h\big(\vb{a}^{(1)}\big) \]

2. Выходной слой берёт \(\vb{h}\) и считает свои суммы \(\vb{a}^{(2)}\). Ответ сети — это \(g\big(\vb{a}^{(2)}\big)\), но выходная активация \(g\) сейчас ни при чём: смотрим на то, что в неё попадает.

   \[ \vb{a}^{(2)} = W^{(2)}\vb{h} + \vb{b}^{(2)} \]

3. Теперь условие: активация скрытого слоя линейная, \(h(a) = a\). Тогда \(\vb{h} = \vb{a}^{(1)}\), и первую строку можно подставить во вторую:

   \[ \vb{a}^{(2)} = W^{(2)}\big(W^{(1)}\vb{x} + \vb{b}^{(1)}\big) + \vb{b}^{(2)} \]

4. Раскроем скобки. Всё, что умножается на \(\vb{x}\), собирается в одно слагаемое, остальное — в другое:

   \[ \begin{aligned} \vb{a}^{(2)} &= \underbrace{W^{(2)}W^{(1)}}_{W}\,\vb{x} \\ &\quad {} + \underbrace{W^{(2)}\vb{b}^{(1)} + \vb{b}^{(2)}}_{\vb{b}} \end{aligned} \]

5. Произведение двух матриц — снова матрица, размером \(K \times I\). Сумма векторов — снова вектор. Получился один слой:

   \[ \vb{a}^{(2)} = W\vb{x} + \vb{b} \]

   Ответ сети равен \(g(W\vb{x} + \vb{b})\). Скрытый слой исчез: ту же функцию считает сеть вообще без него.

6. Третий линейный слой добавит ещё один множитель слева, четвёртый — ещё один. Для \(n\) слоёв по индукции:

   \[ W = W^{(n)}\, W^{(n-1)} \cdots W^{(1)} . \]

   Сколько бы слоёв ни стояло, остаются одна матрица и один вектор.

Проверим на числах из калькулятора. Там \(W^{(1)}\) без столбца biases — это строки \((1, -0.5)\) и \((0.5, 1)\), вектор \(\vb{b}^{(1)} = (0.5, -1)\); во втором слое веса \((2, -1)\) и \(b^{(2)} = 0.1\). Перемножаем:

Здесь \(W = (w_1, w_2)\) — матрица из одной строки. Выходной нейрон в калькуляторе линейный, поэтому ответ сети совпадает с суммой \(a^{(2)}\). Значит, вся сеть с linear-активацией — это один нейрон \(g = 2.1 + 1.5\,x_1 - 2\,x_2\). При \(\vb{x} = (1, 2)\) он даёт \(-0.4\), как и калькулятор в задании 3.

Куда делись сто тысяч параметров

Теперь задачка из начала урока решается сама. В сети 784–128–64–10 без активаций три матрицы перемножаются в одну размером \(10 \times 784\), а три вектора biases сливаются в один из 10 чисел. Итого \(785 \cdot 10 = 7\,850\). Остальные 101 536 параметров — это разные способы записать одно и то же произведение. Нового они выразить не могут.

А деталь без единого числа, функция активации, — это то, что мешает матрицам перемножиться. Пока между слоями стоит нелинейность, каждый слой делает то, чего предыдущие не могли. Сила сети не в количестве слоёв и не в количестве весов, а в том, что между линейными шагами стоят нелинейные.

Два требования к активации

Итак, между слоями нужна нелинейная функция. Конспект (стр. 60–61) называет три причины ставить активацию:

• To break linearity — иначе сеть схлопывается, это только что доказано.
• To allow complex decision boundaries — линейный нейрон проводит одну гиперплоскость, а нелинейные скрытые нейроны позволяют собрать из нескольких прямых изогнутую границу или несколько областей, как в XOR.
• To control the output range — «сжать» выход нейрона в ограниченный диапазон (squashing), например в \((0, 1)\). От диапазона зависит, что получит следующий слой, а ограниченные значения не разрастаются от слоя к слою.

Но одной нелинейности мало, и здесь конспект ошибается в важном месте.

Вторую половину требования даёт слайд 17 лекции 2: «Activation functions must be differentiable to train it …». Обучение (уроки 13 и 14) двигает каждый вес туда, где ошибка \(E\) меньше, а для этого нужна производная ошибки по весу. По цепному правилу она распадается на три множителя:

У ступеньки средний множитель равен нулю всюду, кроме точки скачка, а в ней производной нет вовсе. Произведение обнуляется, и вес не получает никакой подсказки, куда ему двигаться. Это те самые плоские полки из задания 4 виджета «Схлопывание слоёв».

Конспект (стр. 61) делает отсюда общий вывод: если производная активации близка к нулю, градиент затухает и обучение останавливается; если множители слишком велики, обучение становится неустойчивым. Поэтому каждую функцию активации изучают вместе с её производной, как на слайде 18. В глубокой сети таких множителей много, по одному на слой, и к этому вернётся урок 24.

Активация скрытых нейронов должна быть нелинейной, чтобы слои не схлопнулись, и дифференцируемой, чтобы сеть можно было обучать градиентом.