Нью-Йорке. В течение нескольких месяцев я нанял десять талантливых специалистов, которые теперь являются руководителями исследовательской лаборатории Facebook AI Research. Первые месяцы мы трудились, не покладая рук. Мы зарабатывали репутацию и изо всех сил пытались привлечь новых специалистов. Нам приходилось много рассказывать о наших методах работы.
Это было связано с теми принципами, которые я изложил Марку Цукербергу за тем обедом у него дома: долгосрочная работа и возможность продвигать науку без особого беспокойства о немедленном создании приложений. Свобода для исследователей заключается в том, чтобы работать над тем, что они считают наиболее перспективным. Открытые и опубликованные исследования, как в учебном заведении. Бесплатные и доступные всем исходные коды. Сотрудничество с лабораториями в учебных заведениях.
FAIR была ориентирована на долгосрочную работу, но я знал, что она потребует довольно срочных практических результатов от своих изобретений и открытий. Мы оценили масштаб проблемы и решили, что исследователи должны работать в своем привычном режиме. Но нужно было заставить остальную часть компании, которая до этого была сосредоточена на разработке конкретных продуктов, заинтересоваться нашими результатами и преобразовать их в программное обеспечение или полезную продукцию. Нам удалось сойтись во мнении ради единой цели.
На кону было будущее нашей исследовательской лаборатории. Некоторые из результатов должны были иметь положительное влияние на компанию, чтобы никому из руководителей не пришло в голову задаться вопросом, почему исследовательская группа вложила столько денег в ИИ.
Специализация
Хотя Марк Цукерберг не ставил перед нами точных целей, мы понимали, что некоторые области применения ИИ особенно важны для общества: понимание текста, перевод, распознавание изображений и, в частности, распознавание лиц. В Менло-Парке исследовательская группа уже работала над этим вопросом. Инженеры одной израильской компании, приобретенной Facebook, успешно экспериментировали со сверточными сетями. Именно они убедили Марка Цукерберга продолжать исследования и заниматься разработками в области ИИ.
У нас было очень много работы. В конце 2013 г. машинное обучение только начинало использоваться для организации новостной ленты, размещения рекламы и фильтрации информации. Это по-прежнему было классическое машинное обучение, которое использовало, например, логистическую регрессию – вероятностную версию перцептрона – деревья принятия решений, «пакеты слов» и т. д. Глубокого обучения было еще очень мало.
Хотя часть деятельности FAIR была ориентирована на разработку приложений, она все же в основном оставалась лабораторией фундаментальных исследований с определенной автономией. Мы редко использовали данные Facebook. Если мы работали над системой распознавания речи, машинного перевода или понимания естественного языка, мы тестировали ее с помощью общедоступной базы данных для того, чтобы адекватно сравнивать наши результаты с результатами других учреждений, которые использовали те же базы. Например, чтобы улучшить алгоритм перевода, мы, среди прочего, использовали, данные Европейского парламента, который за последние 10 лет сгруппировал все парламентские сессии на различных языках Сообщества. Таким образом, наука продвигалась вперед, используя поддающуюся проверке и воспроизводимую методологию.
Вскоре после моего прихода в FB я понял, что для создания продукции и услуг с помощью новых методов, разработанных в FAIR, требуется отдельная группа. В Bell Labs и AT&T Labs я прочувствовал на себе весь процесс, ведущий от фундаментальных исследований к конкретным приложениям. Там наши две группы фундаментальных и прикладных исследований находились в соседних офисах и использовали одни и те же программные инструменты. Прикладные исследования порой превращают ведущих ученых в инженеров. Позвольте мне высказаться по этому поводу: двое таких ученых защитили докторскую диссертацию по теоретической физике, но, не сумев найти должности в университете после сокращения бюджета в 1980 г., они переквалифицировались в инженеров общего профиля. С их математическим образованием они бы щелкали теорию нейронных сетей и машинного обучения, как орешки.
Но вернемся к Facebook. Я убедил руководство компании организовать исследовательскую группу по прикладному машинному обучению (AMLA, Applied Mashine Learning). Ее возглавил Хоакин Киньонеро Кандела, бывший сотрудник Microsoft, который занимается системами машинного обучения для размещения рекламы. Мы оба говорили по-французски. Хоакин – испанец, он вырос в Марокко, где учился во французской средней школе, затем учился в Испании, а докторскую диссертацию защитил в Дании. После постдока в Германии он работал в Microsoft Research в Кембридже, Великобритания. Поэтому он говорил на испанском, французском, английском, немецком, датском и немного на арабском! Настоящий европеец, живущий в Кремниевой долине. В Microsoft он уже занимался прикладными исследованиями.
В первые годы сотрудничество FAIR и AML действительно поспособствовало развитию некоторых областей, таких как распознавание изображений. Но в других областях, таких как распознавание речи, все было не так радужно. Маркетинговые группы интересовали инструменты машинного обучения, которые разрабатывались в рамках AML, поэтому у инженеров оставалось мало времени на более долгосрочную работу. С другой стороны, в группу по AML необходимо было в короткие сроки нанять инженеров, специализирующихся на искусственном интеллекте и машинном обучении. Задача была непростой, потому что компании разбирали таких сотрудников как пирожки! В итоге, чтобы сотрудничество FAIR и AML стало по-настоящему эффективным, нам понадобилось несколько лет.
Научный прорыв имеет ценность для компании только в том случае, если он быстро превращается в продукцию. Техническое руководство компании должно оценить потенциальную отдачу от такого прорыва и согласиться взять на себя риск по инвестированию ресурсов в проект развития. Инженеры, составляющие основную часть компании, должны сами убедиться в возможности превратить научный прорыв в технологические инновации, создать продукт и внедрить его. Однако иногда мы сталкивались со скептицизмом. Чем дальше вы продвигаетесь, тем дороже будет каждый ваш шаг и выше недоверие к тому, что вы создали. Важную роль в решении этой проблемы играют навыки технического менеджмента. Именно эти люди делают технологические компании-гиганты такими успешными: менеджеры-инженеры! Мы смогли извлечь урок из опыта таких компаний, как Xerox и AT&T, чьи лаборатории изобрели большую часть технологий современного мира, но руководство, не поняв коммерческой выгоды этих изобретений, зачастую пренебрегало продвижением своей продукции и отдавало всю прибыль другим.
В 2018 г. Facebook создала проект Facebook AI, который охватывал все исследования и разработки компании. Этот проект курировал FAIR, AML (который был переименован в FAIAR, «Facebook AI-Applied Research», что на английском языке произносится как «fire») и несколько других лабораторий. Во главе Facebook AI стоял другой француз: Жером Песенти, бывший сотрудник IBM, которой он продал свой стартап.
Благодаря этому общему направлению улучшилось сотрудничество FAIR и FAIAR. Инновации FAIR в отношении распознавания изображений и переводе могли отразиться на экранах миллиардов людей в течение нескольких недель. Но обычно такой процесс происходит медленнее, и большая часть исследований FAIR носит долгосрочный характер.
В 2013 г. платформа еще не использовала глубокое обучение. В 2019 г. все было с точностью до наоборот: без этого Facebook
