Данные, в которых имеются те или иные закономерности, могут иметь самую разную природу: это могут быть оцифрованные изображения, звуки, видео, тексты, сигналы различных датчиков (температуры, давления, перемещения и т. д.) — словом, что угодно, что может быть подано на вход машины. Одно лишь перечисление задач, относящихся к области распознавания образов, заняло бы наверняка не одну сотню страниц. Поэтому здесь мы рассмотрим лишь некоторые типичные задачи, по прогрессу в решении которых принято судить об успехах всей области. Хотя предположение о том, что прогресс в решении отдельных задач распознавания должен сопровождаться прогрессом в решении других задач, выглядит вполне разумным, однако на деле всё может оказаться не так просто. Мы знаем, например, что машины довольно быстро научились идеально играть в крестики-нолики, но безупречный автоматический игрок в шашки появился лишь спустя полвека. Возможность применения для распознавания образов тех или иных алгоритмов и моделей во многом зависит от характеристик данных, и прежде всего от их размерности. Одно дело отличить крестик от нолика на монохромной картинке размером 3 × 3 пикселя (здесь вполне можно обойтись набором составленных вручную правил), и совсем другое — распознать котика на цветной 10‑мегапиксельной фотографии. Важным достижением новой весны ИИ стал существенный прогресс в ряде задач, относящихся к реальному миру, то есть таких задач, которые приходится решать людям в ходе различных производственных процессов. При этом нередко системам искусственного интеллекта удавалось превзойти людей. Это особенно важно в силу того, что в итоге была открыта дорога к автоматизации решения многих задач, решаемых людьми в повседневной жизни.
Для оценки прогресса в решении подобных задач специалисты в области ИИ обычно создают публичные стандартизованные наборы данных, которые позволяют оценивать точность работы различных моделей, а также точность выполнения задач людьми. Мы уже упоминали MNIST — один из подобных наборов, содержащий множество пиксельных образов рукописных цифр. Задача распознавания цифр из этого набора стала тривиальной на границе тысячелетий, поэтому сегодня для оценки прогресса в области распознавания изображений принято использовать более сложные наборы данных. Сегодня, благодаря усилиям сообщества, разработчикам моделей распознавания образов доступны сотни, если не тысячи наборов данных, содержащих изображения, аудио- и видеозаписи, тексты, различные мультимодальные данные (например, наборы изображений, снабжённых текстовыми описаниями, и т. п.)[1817], [1818], [1819] и так далее. Более того, регулярно проводятся соревнования по решению различных задач в области распознавания образов, в том числе онлайн — на таких сервисах, как Kaggle, Driven Data, CrowdANALYTIX и др. Причём благодаря появлению облачных платформ, предоставляющих доступ к высокопроизводительным тензорным процессорам (Google Colab, Amazon AWS или отечественный «Кристофари» от Сбербанка), участникам соревнований необязательно даже иметь в собственности дорогое оборудование для обучения моделей. Словом, по сравнению с 1990-ми гг. решительно изменились почти все элементы инфраструктуры, задействованные в сфере распознавания образов, и плоды этих изменений не заставили себя ждать.
6.2.1 Распознавание изображений
Любите живопись, поэты!
Лишь ей, единственной, дано
Души изменчивой приметы
Переносить на полотно.
Николай Заболоцкий.
Портрет 30 сентября 2012 г. свёрточная нейронная сеть, известная сегодня под названием AlexNet, с существенным отрывом заняла первое место в конкурсе ILSVRC 2012 (ImageNet Large Scale Visual Recognition Challenge, Соревнования по широкомасштабному распознаванию изображений ImageNet). Считается, что именно это событие стало отправной точкой для очередного витка общественного интереса к сфере ИИ. Авторы The Economist в статье под названием «От бездействия к действию нейронных сетей» (From not working to neural networking, содержит игру слов not working/networking) так охарактеризовали общественную реакцию на это событие: «внезапно было привлечено внимание людей не только из ИИ‑сообщества, но и из технологической отрасли вообще»[1820].
Ежегодные соревнования ILSVRC начали проводиться с 2010 г., однако в 2010 и 2011 гг. нейросетевые модели не участвовали в соревнованиях, а первые места доставались моделям на базе метода опорных векторов (SVM) с различными трюками вроде фишеровских векторов[1821], [1822], [1823]. Таким образом, 30 сентября 2012 г. можно выбрать в качестве даты начала новой весны ИИ, хотя её наступлению предшествовало множество других важных событий. В первую очередь речь идёт о создании самого датасета ImageNet, что было непростой задачей, учитывая тот факт, что по размеру он многократно превосходил все созданные ранее датасеты, а также его многоуровневую систему аннотаций.
В современных популярных статьях по истории нейронных сетей, по всей видимости в силу особенностей самого формата, картина обычно выглядит следующим образом: жил-был Ян Лекун, который изобрёл свёрточные нейронные сети и в 1998 г. показал их эффективность на датасете MNIST. Спустя 12 лет как чёртик из табакерки или, будет правильнее сказать, как фея из сказки появляется Фей-Фей Ли из Стэнфорда, создаёт базу изображений ImageNet, а спустя ещё два года немного доработанная архитектура Лекуна в виде программы AlexNet, благодаря использованию при обучении GPU от Nvidia, рвёт в клочья все богомерзкие SVM’ы — и наступает эра глубокого обучения.
В целом такая картина, конечно, не очень сильно грешит против фактов, но в ней невооружённым глазом заметен некоторый изъян: неясно, чем был вызван двенадцатилетний разрыв. В конце концов, работа Розенблатта над перцептронами продолжалась всего 15 лет, что стало целой эпохой в истории коннекционизма. Казалось бы, ещё в 1990-е гг. работы Лекуна, Хинтона и их коллег показали перспективность нейросетевого подхода, почему же новой весне ИИ потребовалось ждать целых 14 лет? Давайте попробуем разобраться в том, что происходило в области распознавания изображений в это время, и тем самым заполнить пробел в существующей популярной картине истории мира глубокого обучения.
6.2.1.1 Фей-Фей Ли и ImageNet
Обратимся для начала к личности Фей-Фей Ли и к истории ImageNet.
Фей-Фей Ли родилась в 1976 г. в Пекине, а выросла в городе Чэнду на юге Китая. Когда ей было 12 лет, её отец переехал в США, а через четыре года перевёз к себе жену и дочь. Ли окончила среднюю школу в Парсиппани (штат Нью-Джерси, США) в 1995 г. В том же году она поступила в Принстонский университет, который окончила с отличием в 1999 г., получив степень бакалавра искусств в области физики. Во время учёбы в Принстоне Ли на выходных подрабатывала в принадлежавшей её родителям химчистке.
В 2000 г. она поступила в аспирантуру в Caltech, где в 2005 г., работая на стыке нейробиологии и информатики, получила степень доктора философии в области электротехники[1824]. Именно в Caltech Ли начала работу над своей первой базой данных изображений, предназначенной для отработки и тестирования методов распознавания образов и машинного зрения. Датасет, увидевший свет в 2003 г., получил название Caltech 101. Он пришёл на смену более простому датасету Caltech 4, в котором было только четыре класса изображений (самолёты, лица, мотоциклы и фон). Вместе с Фей-Фей Ли над созданием датасета трудились Марк Ранцато и Пьетро Перона, научный руководитель Ли. В базу данных вошло 9146 изображений в формате jpeg, распределённых на 101 категорию: чай, чемоданы, чебуреки, чебоксары, трилобиты, зонтики, мозги, дельфины, эму, лица, ножницы и так далее. Изображения имеют различный размер, тяготеющий к популярному разрешению 320 × 200[1825], [1826].
