Машина, которая сама крутит ручки

Чего не умел компьютер 1940-х

Отмотаем от той демонстрации ещё лет на пятнадцать назад. В 1940-х компьютеры уже есть и уже впечатляют. Слайд 4 лекции 2 называет две вещи, которые им удавались: делать в точности то, что написал программист, и очень быстро считать.

Так устроена машина фон Неймана (Von Neumann machine): процессор достаёт из памяти одну инструкцию за другой и выполняет их по порядку. Память и вычисление разделены, всё идёт последовательно и точно. Для длинных точных расчётов это идеально.

Для задачи «узнать знакомого на зернистой фотографии» — нет. Исследователям не хватало трёх умений. Этот список — готовый ответ на экзаменационное «why»:

1. работать с зашумлёнными данными или напрямую с окружающей средой (noisy data, the environment);
2. быть массово параллельной и устойчивой к отказам (massively parallel, fault tolerant);
3. приспосабливаться к обстоятельствам (adapt to circumstances).

Поэтому на слайде и сказано, что искали вычислительную модель за пределами машины фон Неймана — a computational model beyond the Von Neumann machine. Нужен был не более быстрый процессор, а другой способ считать.

Правая картинка нарисована не из головы. Работающий образец такой машины у исследователей был — у каждого свой.

Мозг считает иначе

Числа со слайда 5 лекции 2 входят в экзаменационный материал, поэтому вот они одной таблицей.

Удивляет здесь другое. Нейрон — медленный элемент: он переключается за миллисекунды, а современная цифровая логика — за наносекунды, то есть в миллион раз быстрее. И всё же знакомое лицо мозг узнаёт без труда, а компьютеру 1940-х эта задача не по силам вовсе. Значит, дело не в скорости одного элемента.

Слайд описывает вычислительную модель мозга тремя свойствами:

• Distributed among simple non linear units — вычисление распределено между простыми нелинейными элементами. Центрального процессора нет.
• Redundant and thus fault tolerant — модель избыточна и потому переносит отказы. Понятие хранится не в одном нейроне, и гибель нескольких его не стирает.
• Intrinsically parallel — параллельна по своей природе: тысячи операций идут одновременно.

Конспект добавляет четвёртое свойство — адаптивность: сила синапсов меняется с опытом. Это и есть обучение, и к нему мы вернёмся в конце урока.

Теперь положи рядом два списка: чего хотели от машины и что есть у мозга. На вопрос «why the brain?» отвечает именно эта пара, а не каждый список по отдельности.

Оставшееся свойство — distributed among simple non linear units — говорит, из чего такая машина собрана: из множества простых элементов вместо одного сложного. Слайд 5 так и заканчивается: Perceptron: a computational model based on the brain. Оставалось понять, как считает один такой элемент.

Мозг выигрывает не скоростью элемента, а числом элементов, которые работают одновременно.

От живого нейрона к формуле

От биологии слайд 7 лекции 2 оставляет две фразы. Дендриты (dendrites) собирают заряд от синапсов (synapses) — возбуждающих (excitatory) и тормозящих (inhibitory). Когда накопленный заряд переходит порог (threshold), нейрон «срабатывает» (fires): посылает сигнал по аксону дальше.

Получается четыре шага: собрать → сложить → сравнить с порогом → сработать. На рисунке каждому шагу достаётся своя буква.

Сначала на примере

Пусть такой нейрон решает за тебя, идти ли завтра на лекцию к 8:15. У него три входа, каждый равен 1 («да») или 0 («нет»), и у каждого свой вес:

• \(x_1\): лекцию не записывают — вес \(w_1 = 2\), сильный довод «за»;
• \(x_2\): друг тоже идёт — вес \(w_2 = 1\), довод послабее;
• \(x_3\): идёт дождь — вес \(w_3 = -1\), довод «против».

Порог \(b = 1.5\): идти, только если доводы в сумме перевешивают полтора. Посчитаем четыре разных утра.

Вес отвечает на вопрос «насколько этот довод важен и в какую сторону он тянет». Порог — на вопрос «сколько доводов нужно, чтобы встать с кровати». Отрицательный вес — это и есть тормозящий синапс.

Теперь формулой

Ступенька \(h_j\) носит имя Heaviside step function. Вся нелинейность нейрона живёт в ней одной.

Взвешенная сумма знакома по Applied Statistics: это та же линейная комбинация \(\beta_1 x_1 + \dots + \beta_p x_p\), что в линейной регрессии. Удвоишь входы — удвоится сумма. Ступенька так себя не ведёт: она отвечает скачком. Нейрон — это линейная часть плюс нелинейная ступенька. Без ступеньки от него осталась бы обычная линейная модель, та же формула, что у регрессии.

Теперь собери всё руками. Главное, что должно стать очевидным из этого виджета: порог \(b\) и вес \(w_0\) — одна и та же ручка, подписанная с двух сторон с разными знаками.

Порог — тоже ручка

В третьем опыте порог превратился в вес, а нейрон этого «не заметил»: все ответы остались прежними. Разберёмся почему — это самое экзаменационное место урока.

У нейрона пока два вида настроек. Веса стоят при входах, а порог живёт отдельно, внутри сравнения. Для обучения это неудобно: понадобятся два правила — как менять веса и как менять порог. В 1960 году Bernard Widrow в модели ADALINE записал порог как ещё один вес. На слайдах это переход от схемы 7 к схеме 8.

Вывод по шагам

1. Начнём с того, что нейрон делает буквально: срабатывает, когда взвешенная сумма входов больше порога.

   \[ \sum_{i=1}^{I} w_i x_i \gt b \]

2. Перенесём порог налево. Неравенство то же самое, но сравниваем теперь с нулём — с числом, которое не надо настраивать.

   \[ \sum_{i=1}^{I} w_i x_i - b \gt 0 \]

3. Запишем \(-b\) как произведение на единицу. Пока это выглядит бессмысленно.

   \[ \sum_{i=1}^{I} w_i x_i + (-b) \cdot 1 \gt 0 \]

4. Дадим множителям имена. Единица — это ещё один вход \(x_0\), который включён всегда. Число \(-b\) — его вес \(w_0\).

   \[ x_0 \equiv 1, \qquad w_0 \equiv -b \]

5. Слагаемое \(w_0 x_0\) устроено так же, как остальные: вес, умноженный на вход. Значит, его можно внести под знак суммы и начать счёт с нуля.

   \[ \sum_{i=0}^{I} w_i x_i \gt 0 \]

6. Сумма произведений — это скалярное произведение. В обоих векторах теперь по \(I + 1\) компоненте: \(\vb{x} = (1, x_1, \dots, x_I)\) и \(\vb{w} = (w_0, w_1, \dots, w_I)\).

   \[ \vb{w}\T\vb{x} \gt 0 \]

   Проверка на утре «всё сразу»: было \(2 + 1 - 1 = 2 \gt 1.5\), стало \(-1.5 + 2 + 1 - 1 = 0.5 \gt 0\). Оба неравенства верны одновременно.

Целиком это одна строка со слайда 7 лекции 2. Её стоит уметь написать по памяти, со всеми тремя знаками равенства.

Знак: порог и bias смотрят в разные стороны

Определение из конспекта (Definition 2, стр. 40) говорит то же словами. A large positive bias — нейрон срабатывает даже при слабых входах. A large negative bias — ему нужны сильные доводы. И ещё: bias сдвигает ступеньку по горизонтали. На шкале виджета (в схеме слайда 7) это фиолетовая черта: чем больше \(w_0\), тем левее она стоит.

Отсюда правило чтения чужих формул. На слайдах \(b\) — порог, а bias — это \(w_0 = -b\). В конспекте начиная со стр. 40, как и в большинстве учебников, буквой \(b\) называют уже сам bias и пишут \(a = \vb{w}\T\vb{x} + b\). Буква одна, а знаки противоположные.

Кто что придумал: 1943–1991

Формула у тебя есть. Теперь разложим по годам, кто какую её часть добавил, — и заодно проверим, правда ли нейросети изобрели недавно. Главное, что должно стать очевидным из шкалы: почти каждая веха закрывает одну дыру, оставленную предыдущими.

Для экзамена из этой шкалы прежде всего нужны три имени со слайда 9 лекции 2 — и то, что нового внёс каждый:

• 1943, Warren McCulloch и Walter Pitts — Threshold Logic Unit (на слайде также Linear Unit). Активация — пороговый элемент, эквивалентный Heaviside step function. По сути это формула из третьего раздела с весами, заданными раз и навсегда. Это модель: обучения в ней нет.
• 1957, Frank Rosenblatt — первый Perceptron. Веса хранятся в потенциометрах, обновляют их электромоторы. Это обучение.
• 1960, Bernard Widrow — ADALINE (Adaptive Linear Neuron, позже Adaptive Linear Element). Порог записан как bias. Это удобная запись — те самые шесть шагов из прошлого раздела. Позже из нескольких таких элементов собрана MADALINE (Multiple ADALINE).

Нейросети — ровесники AI

Слайд 2 озаглавлен провокационно: «Deep Learning is not AI, nor Machine Learning». Он не отрицает родство, а напоминает, что это три разных слова. Deep learning — семейство методов внутри machine learning, а machine learning — часть artificial intelligence.

Доказательство — на слайде 3. Заявку на Дартмутский летний проект подали в 1955 году John McCarthy, Marvin Minsky, Nathaniel Rochester и Claude Shannon; с неё отсчитывают историю AI как области. В списке тем под номером три стоит Neuron Nets: как соединить нейроны, чтобы они формировали понятия.

Дальше, по конспекту, идея разошлась на две традиции. Символьная (symbolic) делала ставку на явные правила, логику и представления, придуманные человеком. Коннекционистская (connectionist) — на сети простых элементов, которые учатся на данных. Вторая долго оставалась в тени и вернулась под именем deep learning; почему именно в 2012-м — тема урока 4.

Что менялось в машине за 50 попыток

Вернёмся к пятитонному компьютеру 1958 года. Теперь на вопрос из начала урока можно ответить точно. Внутри считался перцептрон: взвешенная сумма и порог. Сама процедура «сложить и сравнить» за 50 попыток не изменилась ни на шаг. Менялись числа \(w_0, w_1, \dots, w_I\).

В аппаратной версии, Mark I Perceptron, эти числа можно было потрогать. «Сетчатка» из 400 фотоэлементов (20 × 20), 512 промежуточных элементов, 8 выходных. Каждый настраиваемый вес — потенциометр, обычная ручка вроде регулятора громкости. Во время обучения ручки поворачивали электромоторы. Отсюда и название урока: машина, которая сама крутит ручки.

Сколько ручек у нейрона с \(I\) входами? Ровно \(I + 1\): по одной на вход и ещё одна — bias. Порог оказался такой же ручкой, как остальные, и это ровно то, что записал Widrow.

Обучение не переписывает программу. Оно меняет числа \(w_0, \dots, w_I\) — и больше ничего.

А что с обещаниями газеты? Формула показывает их цену. Один такой нейрон умеет одно: сравнить одну взвешенную сумму с одним порогом. Отличить «метка слева» от «метка справа» этого хватает. Что это значит на картинке и где у такого элемента предел — в уроке 6 и уроке 8. А по какому правилу моторы решали, куда крутить ручку, — в уроке 7.