Даже книга, которую вы читаете в настоящий момент, по числу слов превосходит «Шахнаме». Конечно, у модели с длиной контекста в 1024 токена наверняка возникли бы проблемы и при написании большой стихотворной поэмы, но в массе своей шедевры стихотворного жанра без особых проблем поместятся в такой контекст целиком. В стихотворении «Имя твоё — птица в руке…» Цветаевой 81 слово, в «Незнакомке» Блока — 219, в «Сероглазом короле» Ахматовой — 69, а «Я вас любил…» Пушкина и вовсе насчитывает всего 50 слов. При автоматическом создании стихотворений борьба сейчас идёт скорее за то, чтобы научить модели понимать, чем шедевры отличаются от проходных текстов, и научить машины создавать именно шедевры. Впрочем, я думаю, что эта задача не так уж сложна, как может показаться на первый взгляд. По крайней мере, у нас есть множество рейтингов стихотворений, которые можно использовать в качестве обучающих выборок. С проблемой недостаточной длины контекста генеративных моделей ситуация выглядит несколько менее оптимистичной — здесь, по всей видимости, необходимы новые нейросетевые архитектуры, и в настоящее время в этой области активно ведутся исследования.
Среди примеров перспективных архитектур можно назвать разреженный трансформер [sparse transformer][2547], лонгформер [longformer][2548], реформер [reformer][2549], трансформер с адаптивным диапазоном внимания [adaptive attention span][2550], сжимающий трансформер [compressive transformer][2551], поблочный трансформер [blockwise transformer][2552], Linformer[2553], BigBird[2554], перформер [performer][2555], ∞-формер [∞-former][2556], LongNet[2557], транcформер Синкхорна [Sinkhorn Transformer][2558], синтезатор [Synthesizer][2559], Mega (Moving Average Equipped Gated Attention, Вентильное внимание, оснащённое скользящим средним)[2560], MEGABYTE[2561] и ряд других аналогичных моделей. Такие модели обычно позволяют увеличить размеры рецептивного поля в несколько раз. Для оценки возможностей моделей, предназначенных для моделирования «долгих» (до 16 тыс. токенов) зависимостей в последовательностях, исследователями из DeepMind и Google в 2020 г. был разработан специальный набор тестов под названием «Арена больших расстояний» [Long Range Arena][2562], [2563]. По состоянию на середину 2023 г. наилучшие результаты на этом наборе тестов были достигнуты моделью Mega. В 2023 г. было опубликовано ещё два набора тестов для моделей, способных работать с длинными последовательностями: L-Eval[2564] и LongBench[2565]. Интересно, что неплохие результаты при моделировании длинных последовательностей показывают старые добрые свёрточные нейронные сети — для языкового моделирования в последние годы на основе свёрток было создано несколько интересных архитектур, например SGConv (Structured Global Convolution, Структурированная глобальная свёртка)[2566] или «Иерархия гиен» [Hyena Hierarchy][2567].
В общем, сегодня у исследователей есть множество моделей-кандидатов, способных в той или иной мере решить проблему моделирования длинных текстовых последовательностей, поэтому в ближайшее десятилетие мы, вероятно, увидим немало новых интересных проектов, связанных с литературным творчеством нейросетевых моделей.
6.6.4 GPT-3 и гонка за триллионом параметров
Появление в мае 2020 г. новой модели семейства GPT под названием GPT-3 вызвало волну обсуждений как среди специалистов, так и в среде широкой общественности. Эта модель совместила в себе блоки обычного, «плотного» [dense] трансформера и блоки разреженного трансформера, при этом размер её рецептивного поля составляет 2048 токенов. Самый большой вариант GPT-3 со 175 млрд весов стал на момент появления самой большой моделью в своём семействе. Специалисты OpenAI описали в своей публикации[2568] множество интересных экспериментов с этой моделью. В одном из них люди должны были в двойном слепом тесте отличить короткие (около 200 слов) статьи, сгенерированные моделью, от статей, написанных людьми. Всего было использовано 25 пар статей. Люди (их было 80) справились с задачей в 52% случаев, что при 95%-ном доверительном интервале даёт разброс 49–54%, из чего можно сделать вывод, что выбор людей статистически значимо не отличался от случайного. Ниже пример статьи, написанной GPT-3.
Название: Объединённые методисты договорились об историческом расколе
Подзаголовок: Те, кто выступает против однополых браков, сформируют свою собственную деноминацию
Статья: После двух дней интенсивных дебатов Объединённая методистская церковь согласилась на исторический раскол — тот, который, как ожидается, закончится созданием новой деноминации, которая будет «богословски и социально консервативной», согласно The Washington Post. Большинство делегатов, присутствовавших на ежегодной Генеральной конференции церкви в мае, проголосовали за усиление ограничений на рукоположение духовенства, принадлежащего к LGBTQ, и за разработку новых правил, включающих дисциплинарные меры против священнослужителей, которые исполняют обязанности на однополых свадьбах. Но те, кто выступал против этих мер, имеют свой план: они говорят, что к 2020 г. сформируют отдельную деноминацию, назвав свою церковь Христианской методистской деноминацией.
Post отмечает, что деноминация, которая заявляет численность в 12,5 млн членов, была в начале 20-го века «крупнейшей протестантской деноминацией в США», но в последние десятилетия её численность сокращалась. Новый раскол станет вторым в истории церкви. Первый произошёл в 1968 г., когда примерно 10 процентов деноминации ушли в Евангелическую объединённую церковь братьев. Post отмечает, что предлагаемый раскол «наступил в критический момент для церкви, которая теряет членов в течение многих лет», которая была «выдвинута на грань раскола из-за роли людей LGBTQ в церкви». Однополые браки — не единственная проблема, которая разделила церковь. В 2016 г. деноминация была разделена по вопросу трансгендерного духовенства, при этом Северно-Тихоокеанская региональная конференция проголосовала за то, чтобы запретить им выполнять функции духовенства, а Южно-Тихоокеанская — против запрета.
[Title: United Methodists Agree to Historic Split
Subtitle: Those who oppose gay marriage will form their own denomination
Article: After two days of intense debate, the United Methodist Church has agreed to a historic split - one that is expected to end in the creation of a new denomination, one that will be “theologically and socially conservative,” according to The Washington Post. The majority of delegates attending the church’s annual General Conference in May voted to strengthen a ban on the ordination of LGBTQ clergy and to write new rules that will “discipline” clergy who officiate at same-sex weddings. But those who opposed these measures have a new plan: They say they will form a separate denomination by 2020, calling their church the Christian Methodist denomination.
