непосредственно произвести ответ, синтезируя речь, соответствующую тексту ответа. Классические системы преобразования текста в речь использовали сегменты записанной речи и склеивали эти сегменты вместе, изменяя при этом интонации для создания предложения. Современные системы используют нейронные сети, своего рода сверточную сеть, которая используется «в обратном направлении».
Одно уточнение. «Шпионит» ли умная колонка за жизнью в доме? И да, и нет! Да, потому что виртуальный помощник находится в режиме «непрерывного прослушивания», чтобы определять слова, которые его разбудят: «Алекса», «Окей, Гугл» или «Привет, Портал» и т. п. Как только предложение записано, оно отправляется на серверы. Там оно в конце концов распознается, и вырабатывается ответ. Если после «пробуждения» виртуальный помощник регистрирует крики, сопровождающие домашнее насилие, сервер ничего не делает. Он мог бы сделать это физически, но этически это невозможно. По крайней мере, так уверяют крупные компании: Amazon, Google или Facebook, которые должны защищать свою репутацию. Но если это хакерское приложение для мобильного телефона, написанное неизвестным подростком, следует проявлять осторожность.
Архитектура больших приложений: медицинская визуализация и медицина
Сверточные сети обычно используются для рентгена, МРТ (магнитно-резонансной томографии), КТ (компьютерной томографии), для обнаружения опухолей, в ревматологии и при протезировании.
Для классического рентгеновского снимка, такого как маммограмма, где у вас есть два изображения, поскольку снимок делается по двум осям, обученная сверточная сеть «смотрит» на небольшой участок изображения. Она реагирует на подозрительный пиксель. Это прямое применение семантической сегментации сверточной сетью.
Для ее обучения вам понадобится большая коллекция маммограмм, помеченных радиологами, которые нарисовали на снимках контуры опухолей. Эти изображения разбиты на окна определенного размера, в результате чего получаются сотни маленьких изображений. Один за другим они отображаются в сверточной сети, которой сообщается, что есть опухоль или что ее нет в центре окна. Так она учится классифицировать окна в зависимости от наличия опухоли или ее отсутствия.
После развертывания эта сверточная сеть проходится по всему изображению и для каждого окна маркирует центральный пиксель: «Есть опухоль» или «Опухоли нет». По окончании процесса она создает своего рода изображение, на котором опухоль окрашена, и дает оценку достоверности обнаружения.
Если сеть ничего не обнаружила, ответ прост: «проблем нет», что характерно для большинства маммограмм. Если есть сомнения, рентген отправляют к рентгенологу для дальнейшего изучения. Сверточный сетевой фильтр исключает простые случаи, снижает стоимость и время на диагностику и позволяет практикующему врачу сосредоточиться на сложных случаях. Этот процесс также снижает шансы пропустить опухоль по невнимательности, поскольку часто врач проводит долгие часы в темной комнате перед экраном, рассматривая в основном нормальные случаи.
Старые рецепты: алгоритмы поиска
Распространенное приложение, о котором мы уже говорили, – это поиск маршрута. Оно рассчитывает расстояние и время в пути в соответствии с выбранным видом транспорта и даже включает в себя условия движения в реальном времени. Карты Google, Waze, Mappy – все они используют сложные методы, основанные на алгоритмах поиска более короткого пути, принципы которых восходят еще к 1960-м гг. Обучение здесь не требуется. Мой брат Бертран, бывший ученый, который сейчас работает в Google в Париже, специализируется на алгоритмах, лежащих в основе этих методов, которые называются «распределенными комбинаторными алгоритмами оптимизации».
Рис. 7.6. Выявление доброкачественных и злокачественных опухолей на маммограммах с использованием сверточной сети
В левом столбце светлые области указывают на опухоли высокого риска, выявленные при биопсии; в среднем столбце – доброкачественные опухоли, идентифицированные сверточной сетью; а в правом столбце – злокачественные опухоли, идентифицированные этой сетью. Даная сеть была обучена на 1 млн изображений и превосходит по надежности людей-радиологов, но лучшая производительность достигается при объединении ИИ-систем с усилиями радиологов (источник: Wu et al., 2019, NYU[102]).
Рис. 7.7. Архитектура сверточной сети для сегментации МРТ бедра
В отличие от людей-радиологов, данная система может напрямую наблюдать объемное изображение. Входом в сверточную сеть является трехмерное изображение, сформированное из всех срезов объемного изображения МРТ (источник: Deniz et al., 2017, NYU[103]).
Рис. 7.8. Автоматическая сегментация сверточной сетью головки бедренной кости на МРТ-изображении
Сверточная сеть принимает на вход объемное изображение МРТ бедра. Сеть маркирует каждый «воксель» (объемный, т. е. трехмерный эквивалент пикселя) в показателях вероятности того, что этот воксель принадлежит бедренной кости. Такой целостный взгляд на объем позволяет системе производить более точную сегментацию бедренной кости, что облегчает операции по замене тазобедренного сустава. Правое верхнее изображение представляет результат сегментации МРТ бедренной кости, полученной с помощью трехмерной сверточной сети. Этот результат более точен, чем при использовании других методов (источник: Deniz et al., 2017, NYU).
Решение проблемы в таком виде представляет собой поиск кратчайшего пути на графе. Компьютерный граф – это представление в компьютерной памяти сети узлов, соединенных связями. При поиске маршрута каждый перекресток или развилка является узлом, а каждое звено – участком дороги, соединяющим эти два перекрестка. Ссылки и узлы связаны с рядом чисел, которые указывают на характеристики сегмента: среднее время в пути (которое корректируется в реальном времени в зависимости от трафика), изменение этого времени, плата за проезд, характер дороги и т. д. Простой, неэффективный алгоритм исследовал бы все возможные пути между двумя точками, вычислял время в пути и находил самый быстрый. Но такой метод был бы слишком медленным даже для мощных компьютеров. Эффективные алгоритмы быстро отказываются от путей, которые слишком длинные для текущего предположения. Кроме того, они используют тот факт, что несколько путей могут проходить через один и тот же промежуточный узел, и оставлять только лучшие из них. Этот общий метод поиска кратчайшего пути в графе называется «динамическим программированием». Он используется во многих системах искусственного интеллекта для навигации, распознавания и перевода речи (поиск лучшего текста в графе возможных слов), а также для декодирования последовательностей битов, передаваемых на ваш смартфон или космический зонд, или для маршрутизации битовых пакетов в сетях связи. Это – мастер на все руки.
Грандиозные шахматные системы или системы го также используют поиск путей на графе. Но этот граф принимает форму дерева, в котором текущая позиция шахматной доски является корнем, каждое звено представляет собой ход, а узел в конце последнего звена представляет собой конфигурацию шахматной доски после некоторой последовательности ходов. Таким образом, путь от корня к данному узлу или, если использовать метафору, к «листу», представляет собой последовательность штрихов. Чтобы создать это дерево, у вас должна быть программа, которая производит все ходы на шахматной доске. Каждый узел помечен рейтингом качества конфигурации. Поэтому вам просто нужно найти ветку с лучшим рейтингом,
