Интересно, что команда Бенджио использовала случайную инициализацию векторов признаков на старте обучения сети. Авторы работы предположили, что инициализация, основанная на некоторых априорных знаниях о языке, может улучшить результаты. Эта мысль несколько раз повторяется в тексте статьи, причём приводятся даже конкретные идеи по поводу возможных источников такой информации (например, данные из базы WordNet, грамматические признаки и т. д.). Однако авторы работы не пробовали использовать значения векторов, полученные в эксперименте с корпусом Брауна, как стартовые значения для эксперимента с корпусом APNews, то есть идея создания универсальных словарных эмбеддингов для решения широкого спектра задач в области обработки естественного языка на тот момент ещё не овладела умами исследователей.
6.3.3.3 Революция word2vec
Во второй половине 2000-х — начале 2010-х гг. под влиянием работ Бенджио и его коллег был опубликован ряд работ, в которых авторы предлагали различные системы построения универсальных словарных эмбеддингов для решения задач машинного обучения с частичным привлечением учителя [semi-supervised learning] в области обработки естественного языка.
Идея о том, что семантическую информацию о слове можно получить без привлечения учителя, на основе анализа больших неразмеченных наборов текстов, берёт своё начало ещё в XX в. На заре 1950-х гг. благодаря усилиям американского лингвиста Зеллига Харриса, уже упоминавшегося нами в качестве одного из учителей Хомского, приобрела популярность так называемая дистрибутивная гипотеза, которая сегодня обычно формулируется следующим образом: лингвистические единицы, встречающиеся в сходных контекстах, имеют близкие значения. Проще говоря, слова, которые используются и встречаются в одинаковых контекстах, как правило, имеют близкие значения[2117]. В общем, Харрис, как можно заметить, вовсе не был активным противником корпусной лингвистики[2118], в отличие от Хомского, который считал её пустой тратой времени[2119]. Фактически гипотеза Харриса стала развитием идеи, высказанной в афористичной форме другим лингвистом — англичанином Джоном Фёрсом: «Слово характеризуется компанией, в которой оно встречается» [a word is characterized by the company it keeps][2120]. В общем, в отношении слов, как и в отношении людей, в какой-то мере верна поговорка: «Скажи мне, кто твои друзья, и я скажу, кто ты». Возможно, Фёрс и не был первым мыслителем, высказавшим эту идею. Ещё в 1930-е гг. сходные суждения высказывал австрийский философ и логик Людвиг Витгенштейн[2121]. Задолго до появления нейронных сетей лингвисты применяли метод дистрибутивного анализа, изучая распределения слов и символов в текстах, и даже (с середины XX в.) описывали семантику слов в виде контекстных векторов, в которых тому или иному смысловому признаку приписывались некоторые численные оценки. Возникла и развивалась целая область лингвистики, получившая название «дистрибутивная семантика». Её предметом стал анализ семантики элементов языка на основании их распределения в больших массивах лингвистических данных. Появление вычислительной техники, а затем и больших корпусов оцифрованных текстов вывело дистрибутивную семантику на новый уровень — позволило производить эксперименты и проверять гипотезы без использования трудоёмких ручных операций. Исследователями дистрибутивной семантики был разработан ряд инструментов, предназначенных для анализа больших корпусов текстов. Наиболее популярным из них стал Sketch Engine. Эта система была разработана компанией Lexical Computing Limited, созданной в результате сотрудничества лингвиста Адама Килгарриффа и Павла Рыхлого — специалиста в области информатики из Центра обработки естественного языка в Университете Масарика (Masaryk University). Sketch Engine позволяет среди прочего автоматически находить слова со сходной статистикой контекстов (формировать так называемый дистрибутивный тезаурус)[2122]. Корпусными лингвистами были разработаны различные метрики для оценки близости значений слов и математические модели, предназначенные для получения нового знания о языке, позволявшие подтверждать или опровергать различные гипотезы при помощи статистических методов. Появление таких инструментов, как Sketch Engine, позволило лингвистам осуществлять массовую проверку различных гипотез, анализировать происходящие в языке диахронические[2123] изменения, предоставило лексикографам возможность быстрой проверки соответствия словарных определений реальной практике употребления слов.
Дело оставалось за малым — придумать такой алгоритм, который мог бы проанализировать контексты, в которых каждое слово встречается в огромном текстовом корпусе, и построить для каждого слова некий семантический вектор, который содержал бы в себе всю необходимую смысловую информацию. Опираясь на такое представление, модели машинного обучения (например, нейронные сети) могли бы эффективно решать различные задачи, требующие понимания естественного языка.
В начале XXI в. был опубликован ряд работ, посвящённых попыткам создания подобного алгоритма.
Среди них можно отметить статьи[2124], [2125] Андрия Мниха — ещё одного аспиранта Джеффри Хинтона, Ронана Коллоберта и Джейсона Уэстона[2126], а также соавторов Бенджио — Джозефа Туриана и Льва-Арье Ратинова[2127]. Однако решительный прорыв удалось совершить только в 2013 г., когда группа исследователей из компании Google под руководством Томаша Миколова опубликовала работу под названием «Эффективное вычисление представлений слов в векторном пространстве» (Efficient Estimation of Word Representations in Vector Space)[2128]. В конце того же года свет увидела вторая статья за авторством Миколова и его коллег под названием «Распределённые представления слов и фраз и их композиционность» (Distributed Representations of Words and Phrases and their Compositionality)[2129], развивающая первое исследование и раскрывающая ряд новых деталей.
Помимо статей, была опубликована утилита для построения векторных представлений слов (word2vec, от word to vector — слово в вектор), а также сами наборы векторов для слов английского языка. На основе анализа поданного на вход большого текстового корпуса word2vec рассчитывает вектор признаков для каждого слова, встречающегося в корпусе, и создаёт на выходе словарь, включающий сами слова и наборы координат соответствующих им векторов.
«Под капотом» word2vec можно обнаружить сразу две нейросетевые модели, получившие названия «непрерывный мешок слов» (Continuous Bag of Words, CBOW) и «скипграмма» (Skip-gram). Обе эти модели являются прямыми наследницами модели Бенджио, поскольку получены из неё путём нескольких принципиальных доработок.
За прошедшее со времени исследований Бенджио и его коллег десятилетие появилась возможность обучать более «тяжёлые» модели с большим числом параметров. Создатели word2vec смогли увеличить длину контекста до десяти слов, а также использовать от 500 до 1000 нейронов в промежуточном (скрытом) слое сети. Однако этот прогресс был достигнут не только благодаря использованию нового поколения оборудования, но и ввиду применения методов для уменьшения количества параметров в выходном слое сети. Дело в том, что количество нейронов в выходном слое сети Бенджио равно количеству слов в словаре, и даже при сравнительно небольшом размере словаря, как это было в оригинальной работе Бенджио и его коллег, это становится проблемой. Ведь уже при словаре в 16 000 слов и 100 нейронах в скрытом слое мы получим 1,6 млн параметров, а что будет, если задействовать не игрушечный, а соответствующий реальному многообразию слов естественного языка словарь? Для реальных задач в области обработки естественного языка могут потребоваться словари в сотни тысяч или даже миллионы слов. В работе Миколова и его коллег использовался словарь размером в миллион слов, что при тысяче нейронов скрытого слоя даёт миллиард параметров на выходе сети. При размерности вектора признаков, равной 200, и длине контекста в десять слов общее число параметров сети будет равно 200 × 10 (входной слой) + 200 × 10 × 1000 (промежуточный слой) + 1000 × 1 000 000 (последний слой) = 1 002 002 000 — миллиарду с хвостиком. Как видно из этого расчёта, наибольшая часть параметров приходится на последний слой сети.
