Сложно сказать, было ли в данном случае дело в непонимании Глушковым позиции Ивахненко, в стремлении в жанре полемики создать «соломенное чучело» оппонента, огрубив и доведя до абсурда его взгляды, или же Ивахненко в действительности перегибал палку, мечтая о создании нейроморфных машин, наилучшим образом приспособленных к воплощению коннекционистской парадигмы. Во всяком случае, один из сотрудников Ивахненко, Михаил Шлезингер, в 1960-е гг. работая в Институте кибернетики у Глушкова, активно занимался симуляцией нейронных сетей на цифровой электронной машине «Киев»[1340], что свидетельствует в пользу того, что Ивахненко не был радикальным противником цифровых машин. А тот факт, что после перехода Ивахненко под руководство Глушкова работы над нейронными сетями были продолжены, говорит о том, что и Глушков не был радикальным противником коннекционизма. В целом споры коннекционистов и их противников, которых в СССР называли соответственно сторонниками недетерминистического («подхода самоорганизации») и детерминистического подхода, носили, как и на Западе, весьма ожесточённый характер. Резюмируя свою позицию и подводя итоги спорам 1960-х и начала 1970-х гг., Ивахненко писал: «Подход самоорганизации в технической кибернетике открывает новые возможности решения задачи оптимизации сложности математических моделей различных объектов распознавания и управления. Будучи антиподом существующему детерминистическому подходу, самоорганизация является равноправной и необходимой частью комбинированного решения задач технической кибернетики: грубое по простоте решение дают детерминистические методы, а более точное и сложное дополнение принадлежит подходу самоорганизации. Через 10–20 лет индивидуальная вычислительная машина будет доступна каждому. Мы войдём в эпоху тесной связи — симбиоза человека и вычислительной машины. Но готовы ли мы воспользоваться огромными возможностями индивидуальных, национальных и межконтинентальных вычислительных систем? Увы, так называемое математическое обеспечение машин не соответствует нашим потребностям, а мышление исследователей направлено только на развитие детерминистических методов. Исходные идеи об общности метода кибернетики Винера забыты; решения задач становятся всё более специфическими, высоко специализированными, доступными всё более узкому кругу специалистов»[1341]. Удивительно, как Ивахненко удалось угадать важнейшие тренды в развитии вычислительной техники, в этих его строках можно увидеть и грядущее торжество персональных компьютеров, и триумфальное шествие интернета, и даже тенденцию к всё более тесному сращиванию человека с машиной, ярко проступившую в эпоху смартфонов и носимых устройств [wearables].
В наши дни советские коннекционисты 1950–1970-х гг. и их проекты в массе своей забыты, даже специалистам мало что скажут имена Автандила Квиташвили, Генриха Отхмезури, Сергея Даяна, В. С. Амирбекяна и других, хотя в своё время эти люди трудились над многослойными (как тогда говорили — многорядными) перцептронами.
Важным результатом, полученным Ивахненко, стало создание и развитие метода группового учёта аргументов (МГУА) — одного из первых в истории алгоритмов глубокого обучения. Уже в начале 1970-х Ивахненко и его коллегам удавалось обучать восьмислойные нейронные сети[1342], [1343], [1344], в основе которых, правда, лежал иной вид искусственного нейрона, основанного на интерполяционном полиноме Колмогорова — Габора (или, как его иногда называют, полином Вольтерра — Колмогорова — Габора). Метод группового учёта аргументов используется исследователями и в наши дни, хотя занимается им лишь небольшое количество специалистов на территории бывшего СССР и в дальнем зарубежье.
Некоторые исследователи на Западе примерно в то же время или несколько раньше Ивахненко обучали сети с одним промежуточным слоем. Например, этим занимались коллеги Розенблатта Сэм Виглион и Роджер Дэвид Джозеф, в честь которых получил название алгоритм Джозефа — Виглиона. Однако сети, содержащие восемь слоёв, полстолетия назад явно опережали своё время.
Впрочем, сами подходы, использованные Виглионом с Джозефом и Ивахненко в его МГУА, отдалённо напоминают друг друга. Алгоритм Джозефа — Виглиона шаг за шагом генерирует и оценивает двухслойные нейронные сети с прямым распространением, автоматически идентифицируя небольшие подмножества признаков, которые обеспечивают лучшую классификацию примеров из обучающей выборки. Полученные сети затем подвергаются валидации (проверке) на части данных, не включённых в обучающую выборку[1345], [1346], [1347]. В МГУА в нейронную сеть на каждом шаге добавляются дополнительные слои, обучаемые с использованием регрессионного анализа (таким образом, МГУА восходит к методам, разработанным ещё в XIX в. Лежандром и Гауссом). Затем применяется процедура сокращения слоя. Для этого точность предсказаний каждого из нейронов (Ивахненко, как и многие другие коннекционисты того времени, не использовал термин «нейрон», а писал просто о «переменных», слои сети называл рядами, а саму сеть — фильтром, но мы будем придерживаться современной терминологии) оценивается при помощи валидационной выборки, а затем наименее точные нейроны удаляются[1348], [1349].
Книга «Предсказание случайных процессов»[1350], написанная Ивахненко в соавторстве с Валентином Лапой и увидевшая свет в 1969 г., стала своеобразным компендиумом техник, исследовавшихся советскими коннекционистами, а книга 1971 г. «Системы эвристической самоорганизации в технической кибернетике» содержит не только подробное описание МГУА, но и множество примеров его применения для решения прикладных задач[1351]. Многие работы Ивахненко и его коллег были переведены на английский язык, и отсылки к ним мы можем увидеть в ряде современных работ по глубокому обучению.
Хотя нейросетевые модели наших дней, лежащие в основе новой коннекционистской весны, лишь отдалённо похожи на сети, построенные при помощи МГУА, но именно данный метод в некоторой степени стал поворотным пунктом в коннекционистских исследованиях. Исследователи в полной мере осознали, что обучение глубоких нейронных сетей в принципе возможно и что именно их использование может обеспечить прорывные результаты в решении тех или иных задач машинного обучения.
5.2.2 Исследования Румельхарта
Рост интереса к многослойным нейронным сетям в 1980-е гг. был во многом связан с работами Дэвида Румельхарта. Что примечательно, Румельхарт был психологом, так же как Хебб и Розенблатт, а если точнее, то математическим психологом. Он изучал математическую психологию в Стэнфордском университете и получил степень доктора философии в 1967 г.
Румельхарт разработал множество моделей, объясняющих различные аспекты человеческого познания, начиная от двигательного контроля и понимания текста и заканчивая зрительным распознаванием букв, пониманием метафор и аналогий[1352]. В 1975 г. он работал над исследованиями в области познания в составе исследовательской группы Калифорнийского университета в Сан-Диего (University of California, San Diego, далее UCSD), получившей название LNR — по первым буквам фамилий её основателей — Питера Линдсея, Дона Нормана, одного из знаменитых «грязнуль», и самого Румельхарта[1353].
