На помощь пришёл Тед Хофф, который хорошо разбирался в химии. Хофф сразу понял, что будет очень сложно изменить сопротивление электролита. Вместо этого он предложил использовать гальванизацию.
Хофф и Уидроу взяли лист бумаги, мягкий карандаш, провели на листе линию длиной несколько сантиметров и при помощи омметра замерили её сопротивление. Затем они взяли немного раствора сульфата меди в серной кислоте и нанесли его поверх графитной линии — после добавления электролита сопротивление уменьшилось в 1000 раз. После этого они погрузили в нанесённый на поверхность линии раствор медный электрод и, пропустив ток, смогли добиться осаждения небольшого количества меди поверх графита, что снизило сопротивление ещё примерно в 100 раз.
Исследователи хотели добиться обратного эффекта (удаления меди с поверхности) путём обращения направления электрического тока, но, пока они возились с оборудованием, кислота проела бумагу, и вся конструкция развалилась. Однако сам принцип уже был понятен, и Уидроу принялся за дело. Он взял омметр и отправился с ним в книжный магазин. Подойдя к прилавку, он сказал продавщице:
— Я хотел бы купить грифели для карандашей!
— Да, сэр. Посмотрите в витрине, там полно разных типов грифелей.
— Я хотел бы купить тот, который имеет самое высокое электрическое сопротивление.
— Прошу прощения?..
Уидроу вкратце обрисовал продавщице суть, она вытащила грифели из коробки и позволила ему заняться измерениями. Победителем стал грифель Fineline Type H, предназначенный для механического карандаша, — он выдал рекордные 9 Ом от одного конца до другого. Уидроу и Хофф взяли этот грифель, поместили один конец грифеля в зажим, окунули другой конец в раствор сульфата меди в серной кислоте, погрузили туда медный электрод и включили электрический ток. Вытащив и ополоснув грифель, учёные увидели отличное покрытие из меди на его кончике — твёрдое как камень.
Затем таким же образом медь была нанесена на другой конец грифеля. Экспериментаторы припаяли к медным оконцовкам грифеля два куска провода с пластмассовой изоляцией, покрыли места пайки лаком для ногтей, который Уидроу попросил у жены, — это было сделано, чтобы припой не растворился в серной кислоте. Затем учёные поместили грифель в лабораторную пробирку (оставив концы проводов снаружи), туда же опустили оголённый медный провод и наполнили пробирку уже знакомым раствором. В итоге у них получилось устройство с тремя выведенными наружу электрическими контактами. Подавая в разных направлениях ток между медным проводом и грифелем, можно было добиваться как осаждения меди на поверхности грифеля, так и её удаления оттуда, что позволяло изменять сопротивление грифеля в пределах от 9 до 0,25 Ом.
Именно из таких элементов и был собран ADALINE. Обучение было организовано при помощи несложной электросхемы, реализующей алгоритм, получивший название LMS (Least Mean Squares, алгоритм наименьших средних квадратов)[1233], — один из ранних вариантов стохастического градиентного спуска[1234]. Информация, накопленная искусственными нейронами ADALINE, была воплощена в различной толщине слоя меди на поверхности графитных стержней.
Позже в одном из интервью Уидроу так описывал события того времени: «Мы знали о Розенблатте только из газетных заметок о его работе. Она была сенсационной темой для прессы. Через некоторое время и наша работа также стала сенсационной. Некоторые из людей, занимающихся в Стэнфорде связями с общественностью, однажды организовали мою пресс-конференцию. Там была целая комната, полная репортёров, и я демонстрировал самообучающуюся машину. Это было довольно удивительно для 1960 года. Никто не знал, что это, чёрт возьми, такое и что можно с этим делать. Мы тоже не знали, что с этим можно делать»[1235].
Как в перцептроне Розенблатта, так и в ADALINE искусственный нейрон выполняет две операции: суммирование входящих сигналов и подстановку их в некоторую функцию, называемую пороговой функцией или функцией активации. В качестве пороговых Розенблатт и Уидроу использовали функции, которые могли принимать одно из двух значений (обычно 0 или 1). Если аргумент функции превышал некоторое пороговое значение, то сама она принимала значение, равное верхнему порогу (обычно 1), в противном случае — нижнему порогу (обычно 0). Пороговая функция в перцептроне и ADALINE служила заменой условия срабатывания нейрона в сетях Мак-Каллока и Питтса. Нейрон Мак-Каллока и Питтса активируется в случае, если число возбуждающих сигналов превышает некоторое пороговое значение (при отсутствии тормозящих сигналов). Единственным важным отличием сетей Розенблатта и Уидроу стал факт появления синаптических весов (или коэффициентов), на которые умножался сигнал при прохождении через соответствующее соединение нейронов. Таким образом, сигналы в сетях Розенблатта и Уидроу перестали быть аналогами логических суждений «истина» или «ложь» и стали численными значениями.
Как перцептрон Розенблатта, так и ADALINE обучались при помощи сходных алгоритмов, сегодня известных под названием «метод коррекции ошибки». Подробнее этот подход мы рассмотрим позже, когда будем говорить о теореме о сходимости перцептрона. Отметим лишь, что, в отличие от перцептрона Розенблатта, в ADALINE для вычисления величины ошибки использовалось значение сигнала до прохождения его через функцию активации. Многослойная версия ADALINE вполне ожидаемо получила название MADALINE.
Группы Розенблатта и Уидроу были не единственными командами учёных, кто занимался созданием коннекционистских моделей в те годы. В конце 1950-х — начале 1960‑х гг. над созданием модели, похожей на перцептрон и ADALINE, работал немецкий информатик Карл Штейнбух (собственно, он и придумал немецкий термин Informatik — информатика, который затем перекочевал в русский язык, благодаря чему сегодня мы можем обойтись одним словом «информатика» вместо двух английских computer science). Алгоритм, созданный Штейнбухом, получил название Lernmatrix — матрица обучения. В конце 1968 г. в Технологическом институте Карлсруэ под руководством Штейнбуха на основе Lernmatrix был создан первый европейский нейрокомпьютер.
Система состояла из двух модулей. Модуль ввода был «глазами» устройства и представлял собой набор фотоэлементов. Сигналы, полученные фотоэлементами, обрабатывались при помощи обучаемой матрицы на базе реле. В своих экспериментах Штейнбух продемонстрировал, что система была способна распознавать изображения пяти гласных букв[1236], [1237].
![]()
Рис. 94. Нейрокомпьютер Lernmatrix. В левой части происходит сканирование изображения при помощи матрицы из двадцати фотоэлементов, в среднем блоке идёт обработка, справа расположен блок акустического вывода
Перцептрон Розенблатта был устроен похожим образом. Входные данные поступали в него при помощи модуля ввода, в котором входное изображение подсвечивалось мощным источником света и проецировалось на матрицу размером 20 × 20 фотоэлементов на основе сульфида кадмия. Перцептрон также имел коммутационную панель, которая позволяла формировать конфигурацию возбуждающих и тормозящих синаптических связей[1238].
Первые нейрокомпьютеры были способны решать несложные задачи по распознаванию образов, успешно не только определяя геометрические фигуры и символы, но и, например, отличая фотографии женщин от фотографий мужчин.
Рис. 94. Нейрокомпьютер Lernmatrix. В левой части происходит сканирование изображения при помощи матрицы из двадцати фотоэлементов, в среднем блоке идёт обработка, справа расположен блок акустического вывода
