распространенном в то время Интернет-меме.
Через две недели после начала работы в NEC мне позвонил Ларри Пейдж, генеральный директор Google, стартапа с 600 сотрудниками, который уже был на слуху, так что многие пользовались его услугами. Он хотел нанять директора по исследованиям. Ларри знал меня, потому что был поклонником DjVu. Я пошел на собеседование. Компания Google предложила мне работу, но в конечном итоге я от нее отказался. Во-первых, моя семья не захотела переезжать в Калифорнию, во-вторых, даже если предложение и было привлекательным, после шести лет управления отделом и проектом прикладных исследований (DjVu) я все же хотел вернуться к фундаментальным исследованиям и работе над обучением, нейронными сетями, нейробиологией и робототехникой. Я знал, что не смогу достичь этой цели в стартапе из 600 человек, у которого еще нет нужного дохода, особенно если я буду занимать руководящую должность.
Увы! Уже менее чем через год NEC столкнулась с финансовыми трудностями и стала давить на Принстонскую лабораторию, чтобы та занялась созданием приложений, полезных для бизнеса. Руководство NEC сообщило нам, что им неинтересно машинное обучение, и лучшие умы стали увольняться один за другим: физики, биологи, исследователи зрения. Затем уволили директора лаборатории и на его место поставили того, кто не имел ни малейшего исследовательского опыта. Лучший способ убить нас!
Я проработал в NEC в течение 18 месяцев, прежде чем в 2003 г. перешел в Нью-Йоркский университет (NYU) в качестве профессора. Перед этим я подал заявки в несколько мест и получил предложения от Университета Иллинойса в Урбана-Шампейн и Института Тойоты Чикагского университета. Но я не получил никакого ответа из Нью-Йорка и начал сильно беспокоиться.
Я связался с тем, кто предложил мне подать заявку. Он удивился: «Ты подавал заявку? Мы ничего не получили!» На самом деле на компьютере администратора, занимающегося заявками, случился сбой, и половина заявок просто-напросто потерялась. Нью-Йоркский университет назначил для меня собеседование буквально в последнюю минуту. Я начал с презентации моих работ. Заведующая отделом информатики, конечно же, тоже находилась в аудитории. Ее звали Маргарет Райт, и она была специалистом по исследованиям операций. Я знал ее, потому что она также работала в Bell Labs, и познакомился с ней во время семинара в Калифорнийском университете в Беркли несколькими годами ранее. Она считала, что некоторые хорошо известные результаты исследования операций применимы к машинному обучению, но я не мог с ней согласиться. Я надеялся, что она забыла об этом эпизоде, но нет! В конце моей лекции она задала вопрос, конкретно относящийся к той нашей дискуссии. В тот момент я подумал, что мои шансы получить работу здесь упали до нуля, однако я и тут ошибся: она вспомнила, что узнала кое-что новое в тот день! Я был нанят профессором Нью-Йоркского университета в сентябре 2003 г. с твердым намерением возобновить исследовательскую программу по нейронным сетям и продемонстрировать, на что они способны.
С конца 1990-х я был уверен, что следующий успех сверточных сетей произойдет в области распознавания объектов на изображениях. Поэтому в 1997 г. я опубликовал статью в CVPR (IEEE Computer Vision and Pattern Recognition, научно-технический журнал). Заинтересовала она лишь немногих, но некоторые громкие имена в этой области, такие как Дэвид Форсайт из Университета Иллинойса, знали, что машинное обучение действительно может сыграть важную роль в распознании. Он пригласил меня на мастер-класс на Сицилию в компании мировых лидеров в этой области. Я встретился с Джином Понсе, работавшим тогда в Университете Иллинойса (и одновременно преподававшим в Высшей школе, где я учился) Марсиялем Эбертом из Карнеги-Меллона, Джитендрой Маликом из Калифорнийского университета в Беркли, Эндрю Зиссерманом из Оксфорда, Пьетро Пероном из Калифорнийского технологического института и многими другими. К моему удивлению, все они оказались в восторге от возможностей сверточных сетей. В 2000 г. меня пригласили провести пленарную конференцию в CVPR. Я получил свое место в сообществе и налаживал связи, которые принесли плоды в будущем. В течение следующего десятилетия машинное обучение приобретало все большее значение в решении задач распознания. Но только в 2014 г. сверточные сети стали здесь доминирующим методом. Но если лидеры в этой области были открыты для новых идей, то их младшие коллеги, оценивающие наши статьи, были гораздо менее снисходительными.
«Заговор» глубокого обучения
Вместе с Джеффри Хинтоном и Йошуа Бенжио, моими коллегами и друзьями, мы решили возродить интерес научного сообщества к нейронным сетям. Мы по-прежнему были убеждены, что они хорошо работают и могут значительно улучшить распознавание изображений и речи. К счастью, на нашем пути появилась благотворительная организация CIFAR (Canadian Institute for Advanced Research, Канадский институт перспективных исследований; эту аббревиатуру можно также прочесть как «see far», то есть «видеть далеко» по-английски). В 2004 г. она запустила пятилетнюю программу «Нейронные вычисления и адаптивное восприятие», или NCAP (Neural Computation & Adaptive Perception), директором которой тогда стал Джеффри Хинтон, а я – научным консультантом. Программа NCAP позволила нам собираться вместе, организовывать семинары, приглашать наших студентов и даже создавать небольшое научное сообщество.
Остальные исследователи считали исследования нейронных сетей глупостью, а мы, между тем, придумали новое название: глубокое обучение. Я назвал наше трио «заговором глубокого обучения». Шутка, но не совсем.
Нам не давали возможности публиковаться. Почти все статьи, которые мы опубликовали по этой теме в 2004–2006 гг., были отклонены на крупных конференциях по машинному обучению, NIPS (англ. Neural Information Processing Systems, системы обработки нейронной информации)[33], ICML (англ. International Conference on Machine Learning, Международная конференция по машинному обучению). В то время машинное обучение в основном было связано с «ядрами», «усилением» и байесовскими вероятностными методами. Нейронные сети к этой области не относились. Конференции по прикладным областям, такие как CVPR (Конференция по компьютерному зрению и распознаванию образов; см. выше) и ICCV (англ. International Conference on Computer Vision, Международная конференция по компьютерному зрению), тоже относились к нейронным сетям прохладно.
Нам оставалось только верить! Но иногда веры становится недостаточно. Я помню, как 6 декабря 1987 г. Джеффри Хинтон пришел в лабораторию в состоянии полной депрессии. Он был угрюм, что не было на него похоже. У Джеффри вообще было хорошее чувство юмора, как у любого уважающего себя англичанина. Но в тот день ему было не до шуток. Коллег, заходивших к нему в кабинет, ждал сухой формальный прием. В конце концов Джеффри признался, что ему тяжело: «Сегодня мне 40 лет, моя карьера окончена. Я больше ничего не достигну». Сорок лет – это рубеж, за которым, по его мнению, ум начинает работать медленнее. Он был уверен, что больше ничего не узнает о том, как работает
