Основными результатами этого исследования в области аппаратного обеспечения стали разработки: на польской стороне — биполярного контура, функционирующего как генератор импульсов, подобный потенциалу действия; на американской стороне — сопутствующей схемы МОП; совместными усилиями — схемы импульсной обработки. Хотя этот проект и не привёл к производству серийных нейроморфных процессоров, некоторые элементы изобретённых в его рамках схем были впоследствии доработаны и использованы в более поздних нейроморфных проектах. Как писал в 2012 г. Ньюкомб: «…все исторические схемы, которые были в основном импульсными, вплоть до 1980-х годов, служили цели шаг за шагом вести нас к более совершенным искусственным нейронным сетям»[1570].
В 1970-е гг. советские учёные рассматривали возможность создания оптической нейристорной логики на основе эффекта индуцированной самопрозрачности[1571]. В наши дни создание оптических нейронных сетей (Optical neural network, ONN) является важной областью фотоники, и в частности нанофотоники[1572].
В конце 1980-х — начале 1990-х годов для создания ONN стали применять голографию[1573]. Используя метод лазерного выжигания стабильных спектральных провалов, можно было добавить ещё одно измерение в голографическую запись, обеспечив тем самым реализацию попарных синаптических соединений для всех точек двух двумерных областей. Таким образом, можно было создать полносвязную оптическую нейронную сеть с двумя слоями — входным и выходным[1574]. За последние 20 лет были созданы оптические аналоги многих нейросетевых моделей, таких как, например, сети Хопфилда[1575], [1576], [1577] или самоорганизующиеся карты Кохонена на базе жидкокристаллических пространственных модуляторов света[1578]. Используя лазеры в качестве источников импульса, можно создать оптические аналоги импульсных нейронных сетей. В качестве элементов фотонных схем для реализации нейронных сетей могут быть использованы электроабсорбционные фотонные модуляторы[1579], оптоэлектронные системы на основе сверхпроводящих джозефсоновских переходов[1580], системы на основе резонансно-туннельных диодов[1581], а также лазеры поверхностного излучения с вертикальным резонатором[1582], [1583]. Раздел фотоники, использующий схемы на основе таких лазеров, называется «викселоникой» (от аббревиатуры VCSEL (Vertical-cavity surface-emitting laser, поверхностно излучающий лазер с вертикальным резонатором) и слова «фотоника»)[1584]. Также в современных оптических сетях линейные операции могут выполняться пространственными модуляторами света и линзами Фурье, а нелинейные функции оптической активации могут быть реализованы в атомах с лазерным охлаждением и электромагнитно индуцированной прозрачностью[1585]. В последние годы созданы весьма продвинутые рабочие прототипы систем компьютерного зрения на базе оптических нейронных сетей[1586], [1587].
Такая разновидность импульсных нейронных сетей, как импульсно связанные нейронные сети (Pulse-coupled neural networks, PCNN), была описана[1588] в 1994 г. Джоном Джонсоном — загадочным исследователем из американской армии. Джонсон, в свою очередь, основывался на более ранней модели Экхорна (модель связующего поля; linking-field model, LFM) и его коллег, имитировавшей, как обычно, работу зрительной коры кошки[1589], [1590].
Хотя большая часть импульсных устройств и моделей, разработанных в 1930–1990-е гг., представляет сегодня по большей мере лишь исторический интерес, эти пионерские работы позволили науке и технологиям шаг за шагом прийти к современным эффективным нейросетевым моделям и устройствам. Коннекционистская зима во многом переформатировала поле нейросетевых исследований, что в итоге привело к появлению нового поколения исследователей и нового набора идей, большинство из которых не были основаны на импульсной парадигме. Однако сегодня наблюдается заметный рост интереса к импульсным нейронным сетям.
По мере прогресса в области свёрточных нейронных сетей появились и их импульсные аналоги — импульсные свёрточные нейронные сети (spiking convolutional neural networks, SCNN)[1591]. В целом в наши дни между «классическими» и импульсными сетями наблюдается определённый параллелизм в части структуры синаптических связей: существуют не только импульсные аналоги свёрточных нейронных сетей, но и импульсная версия LSTM[1592], импульсные автоэнкодеры[1593], импульсные трансформеры[1594] и так далее.
Системы типа I обычно применяются в научных и медицинских проектах, направленных на изучение работы мозга и того, каким образом физиологические процессы, протекающие в нём, связаны с различными психическими явлениями. Учёные рассчитывают, что рано или поздно, используя адекватные модели и подходящее оборудование, мы сможем в реальном времени симулировать работу мозга и добиться появления в ходе такой симуляции соответствующих психических феноменов.
5.3.5 Нейроморфные системы типа I. Начало
27 октября 2005 г. Евгений Ижикевич выполнил на цифровой машине симуляцию работы импульсной нейронной сети, по размерам превосходящей среднестатистический человеческий мозг. Модель состояла из 100 млрд нейронов и около квадриллиона синапсов. В процессе работы модели возникли альфа- и гамма-ритмы, а также другие интересные явления. Одна секунда симуляции потребовала около 50 дней расчётов на 27-процессорном кластере Beowulf[1595], [1596].
Более масштабная симуляция была осуществлена только в конце 2012 г. Общественность узнала о ней из записи в блоге американского исследователя индийского происхождения Дхармендры Модхи. В ней учёный сообщил, что, используя 96 стоек Blue Gene/Q суперкомпьютера Sequoia Ливерморской национальной лаборатории им. Э. Лоуренса (Lawrence Livermore National Laboratory, LLNL) (1 572 864 процессорных ядра, 1,5 Пб памяти, 98 304 процесса), работавшие в 6 291 456 потоков, удалось достичь беспрецедентного масштаба симуляции 530 млрд нейронов и 137 триллионов синапсов, работающих всего в 1542 раза медленнее, чем в реальном времени. При этом важно понимать, что модель нейрона, использованная исследователями, была крайне упрощённой — сама симуляция осуществлялась в рамках проекта по созданию системы TrueNorth, подробнее о которой мы поговорим в этой главе позже[1597].
