* * *
Обучение. Пример с распознаванием звуков
С начала XX века благодаря работам Сантьяго Рамон-и-Кахаля нейробиологи знают, что обучение с точки зрения биологии заключается в видоизменении синапсов. Обучение животного или человека можно смоделировать, изменив одно или несколько значений связей, представленных вектором-строкой а. В результате этих изменений, то есть в результате обучения, меняется значение или состояние выходного нейрона, а следовательно, реакция субъекта на некоторый стимул.
Допустим, что свойства некоторого повторяющегося звука представлены следующим вектором:
Единицы обозначают присутствие определенных характеристик звука, нули — отсутствие. Допустим, что первая характеристика обозначает громкость звука: если громкость превышает 30 децибел, эта характеристика равна 1, в противном случае — 0. Громкость в 30 децибел соответствует шуму на полупустой улице. В качестве примера звука, громкость которого меньше этого значения, приведем шелест страниц книги. Вторая характеристика описывает частоту звука: она равна 1, если частота звука заключена в интервале 100—5000 герц (именно в этом интервале лежат частоты всех звуков или шумов, доставляющих неудобство), в противном случае — 0. Третья характеристика, которую описывает вектор, — это мощность звука. Ее значение равно 1, если мощность звука превышает 1 ватт (это сопоставимо с пневматическим молотом или реактивным самолетом), и 0, если мощность звука меньше 1 ватта (источником такого звука может быть автомобиль, пианино и т. д.). Теперь рассмотрим связи между тремя входными нейронами (их функция заключается в том, чтобы считывать вектор с данными о звуке, воспринимаемом органами слуха) и выходными:
Если мы вычислим скалярное произведение этих двух векторов, то увидим, что состояние выходного нейрона равно 1,0, так как 0,8·1 + 1·0 + 1·0,2.
Предположим, что мы улучшили нейрон выходного слоя, чтобы сделать модель более реалистичной. Будем считать, что нейрон реагирует активно, если его выходное значение превышает определенную пороговую величину, выбранную произвольным образом. Обозначим эту пороговую величину через 0 и примем ее значение равным 0,6. Если скалярное произведение больше либо равно 0, нейрон станет активным (обозначим это состояние через 1). Если скалярное произведение меньше 0, нейрон останется в состоянии покоя (обозначим это состояние через 0). В нашем примере скалярное произведение равно 1, что превышает пороговое значение 0,6. Следовательно, нейрон возбужден и принимает состояние 1.
Пример нейронной сети до обучения.
Но что произойдет, если человек будет сталкиваться с разными звуками? Что происходит, когда человек или животное обучается? В этом случае значения связей меняются. Допустим, в результате обучения значение одной из связей изменилось:
Это означает, что важность этой связи снизилась с 0,8 до 0,3 и громкость звука в децибелах стала менее важной. Если вычислить скалярное произведение, то есть простимулировать нейронную сеть тем же стимулом, то после обучения состояние выходного нейрона будет равно 0,3 — нетрудно видеть, что 0,3·1 + 1·0 + 1·0,2. Если теперь мы сравним состояние эфферентного нейрона с пороговым значением 0, равным 0,6, то увидим, что нейрон находится в состоянии покоя, то есть 0.
Пример нейронной сети после обучения.
Обратите внимание, что обучение можно интерпретировать как поворот вектора-строки связей а-> относительно Ь->. Чем больше проекция вектора связей а-> на вектор стимула Ь->, тем сильнее реакция выходного нейрона.
Реакция нейрона максимальна, когда вектор связей имеет то же направление, что и стимул. Что произойдет, если эти векторы будут перпендикулярны? Реакция выходного нейрона будет равна 0, так как cos 90° = 0.
Таким образом, мы смоделировали обучение — один из самых удивительных процессов, протекающих в мозгу человека и животных, и выразили биологическое значение этого процесса с помощью операции над векторами. Математическая модель обучения была представлена Мак-Каллоком и Питтсом в 1946 году. Впоследствии она стала основой для моделирования различных аспектов работы мозга с использованием элементарных нейронных сетей.
Векторное, или внешнее, произведение
Еще одной операцией умножения векторов является векторное произведение, которое также называется внешним произведением.
Объясним вычисление векторного произведения на примере тех же векторов, для которых мы рассчитывали скалярное произведение.
Даны вектор а-> и вектор Ь->. Их векторное произведение равно:
После необходимых действий результирующий вектор будет равен:
Обратите внимание, что мы обозначаем векторное произведение знаком X, чтобы отличить его от скалярного произведения. Более того, если скалярное произведение представляет собой число, то векторное произведение — это вектор. Еще одно различие заключается в том, что скалярное произведение а->t·Ь-> обозначает проекцию вектор-строки а-> на вектор-столбец Ь->, а векторное произведение а-> х Ь->t представляет собой вектор (обозначим его c->), перпендикулярный плоскости, определяемой двумя исходными векторами.
Векторное произведение векторов а->х Ь->
Модуль нового вектора c-> будет схож со скалярным произведением, однако его значение будет равно |а->|·|Ь->|·sin α. Модуль векторного произведения векторов будет равен площади построенного на них параллелограмма. Направление вектора c-> определяется по известному правилу буравчика, или правилу правой руки.
В биологии векторное произведение используется при изучении молекул, играющих основную роль в поддержании жизни, к примеру таких белков, как миоглобин. Сюда же относится самая знаменитая из всех известных сегодня молекул — молекула ДНК. При их изучении биофизики используют классические понятия физики и измеряют величины, рассчитываемые как векторное произведение, к примеру дипольный момент — электромагнитную силу, действующую на частицу в магнитном поле.
Модель памяти животных и человека
Существует еще одна поистине замечательная операция — тензорное произведение, которое применяется в математических моделях нейронных сетей, описывающих память животных и человека. Представим, что вектор v-> состоит только из единиц и нулей, то есть является двоичным вектором. Каждый из его элементов обозначает наличие (1) или отсутствие (0) той или иной характеристики некоторого объекта.
Если мы вычислим тензорное произведение v-> и v->, то получим следующую матрицу:
Обратите внимание, какие действия мы выполнили, чтобы получить эту матрицу:
Несмотря на кажущуюся сложность, эта операция на самом деле проста. Мы получили матрицу памяти, обладающую свойством запоминать предмет, показанный нейронной сети. Она позволяет смоделировать на компьютере способность людей и животных запоминать различные объекты. Так как элементы матрицы обозначают связи между нейронами, в модели предполагается, что каждый нейрон связан со всеми другими нейронами. Как следствие, все элементы главной диагонали матрицы должны быть равны 0. Исправим значения элементов главной диагонали, равные 1:
Существуют математические методы, позволяющие восстановить объект, представленный матрицей, и смоделировать процесс вспоминания и распознавания образов.
* * *
СЕТЬ ХОПФИЛДА
Механизм обучения, запоминания букв, цифр и сигналов светофора можно смоделировать с помощью нейронной сети. Модель памяти, определяемая с помощью тензорного произведения, известна как сеть Хопфилда. Она названа в честь исследователя Джона Джозефа Хопфилда, который представил эту модель в 1980-е годы. Сегодня модель Хопфилда используется в самых разных цифровых системах: не только для решения множества физических задач, но и в электронике, и при обработке изображений.
Модель памяти Хопфилда из восьми нейронов. Каждый нейрон в этой модели связан со всеми остальными.
