Откуда у криптоаналитика уверенность в том, что частоты букв открытого текста данной криптограммы примерно совпадают с частотами эталонного открытого текста? Разве не может это соответствие нарушиться из-за различий в словарном запасе корреспондентов и в темах их переписки? Нет, не может, ибо избыточные элементы языка превалируют над остальными: 75-процентная избыточность английского языка подавляет влияние его «свободной» части, хотя не настолько, чтобы она не могла воспрепятствовать точному совпадению частот встречаемости букв в различных текстах.
Именно избыточные элементы в совокупности обеспечивают стабильность таблицы частот встречаемости для любого текста. Действительно, из-за постоянного употребления артикля «the» нередко случается, что буква «h» оказывается среди часто встречающихся букв английского языка. Склонность англичан к использованию альвеолярных согласных приводит к тому, что буквы «n», «t», «г», «s», «d», «1» имеют высокую или среднюю частоту встречаемости. А поскольку в Англии не жалуют буквы «р» и «k», они незаслуженно попали в разряд редко встречающихся. Однако такие избыточные элементы постоянны, заранее известны и поэтому дают стабильные данные для таблиц частот встречаемости. В немецком языке доминирующее влияние избыточности наглядно проявилось в весьма близких пропорциях буквы «е» при подсчетах частот встречаемости букв, произведенных Кёдингом и К°. И конечно же оно проявляется в повседневных успехах криптоаналитиков.
Сила ума Шеннона, его огромный вклад в теорию шифровального дела выразились в открытии избыточности как основы криптоанализа: «Вскрытие большинства шифров становится возможным только благодаря существованию избыточности в открытых текстах». Шеннон первым сумел объяснить постоянство частот встречаемости букв, а тем самым и такое зависящее от него явление, как криптоанализ, дав возможность глубоко понять процесс аналитического вскрытия шифров.
Понимание этого процесса позволяет сделать ряд выводов. Получается, что чем меньше избыточность, тем труднее аналитическим путем прочесть криптограмму. Это видно из двух примеров, иллюстрирующих две крайности в избыточности и приведенных самим Шенноном. Книга «Поминки по Финнегану» заканчивается словами:
«End here. Us then, Finn, again! Take. Bussoftlee, mememor mee! Till thousends thee. Lps. The keys to. Given! A way a lone a last a loved a long the».
Криптоаналитику прочтение такого открытого текста доставит значительно больше хлопот, чем получение отрывка из Нового Завета на «бэйсик инглиш»:
«And the disciples were full of wonder at his words. But Jesus said to them again: Children, how hard it is for those who put faith in wealth to come into the kingdom of God!»134
Криптограммы, помещаемые для занимательности в журналах для широкой публики, достигают поставленной цели – в максимальной степени затруднить их отгадывание – за счет того, что для них подбирают архаические и редкие слова, соединяемые в почти бессмысленные тексты. Избыточность в таких криптограммах сравнительно низкая. Вот образец открытого текста одной такой криптограммы:
«Tough cryptos contain traps snaring unwary solvers abnormal frequencies, consonantal combinations unthinkable, terminals freakish, quaint twisters like „myrrth“135.
Но даже в этом случае избыточные элементы берут верх. Хотя от некоторых из них отделываются, другие все-таки остаются. Они-то и дают искомое решение задачи. Правда, никогда не проверялся интересный вопрос о том, создают ли отмечаемые среди естественных языков различия в избыточности дополнительные трудности при вскрытии криптограмм аналитическими способами.
Проблема низкой избыточности особенно актуальна, когда криптоаналитик работает над вскрытием кода с перешифровкой. Для того чтобы снять перешифровку и выделить кодированный текст, требуется прочесть криптограмму, открытый текст которой состоит из кодовых обозначений и может выглядеть как бессмысленный набор букв «I X К D Y W U K J T P L K J E…». Здесь избыточность очень низка из-за более равномерного использования букв, большей свободы их сочетания, нивелировки частот путем употребления омофонов и т. д. Но при неизбежном наличии в переписке повторяющихся фраз давление избыточности языка, внутренне присущей коду, а также необходимость подбора структуры кодовых обозначений с учетом возможности их исправления в случае искажения при передаче – все это превращает скрытый кодированный текст в достаточно прочный материал, из которого криптоаналитик делает опору для всего здания успешного вскрытия кода с перешифровкой.
Из сказанного выше следует, что сокращение избыточности значительно затрудняет криптоанализ. Перед зашифрованием Шеннон рекомендует обязательно проделывать над открытым текстом операцию,
«которая убирает все излишества… То обстоятельство, что из текста можно без особого вреда убрать гласные буквы, дает простейший способ существенного усовершенствования почти любой шифрсистемы. Сначала уберите все гласные буквы или ту максимально большую часть сообщения, без которой не будет риска разночтения при восстановлении его слов, а затем зашифровывайте то, что осталось».
Криптоаналитики, пытавшиеся прочесть шифртелеграммы, из открытых текстов которых изымалась одна только буква «е», подтвердили, что трудность решения задачи вскрытия после этого заметно возрастала. Понижение избыточности действует весьма эффективно, так как оно притупляет одно из главных орудий криптоаналитика. К этому приему прибегали еще итальянские составители шифров эпохи Возрождения, приказывавшие шифровальщикам опускать вторую букву в удвоениях, например «l» в слове «sigillo»136. Прием этот основан на знании криптографами своего языка, которое позволяет им без всякого ущерба убирать из него элементы избыточности.
Низкую избыточность могут иметь и сокращения: для их прочтения иногда требуется настолько большое приращение информации (например, как в случае с сокращением «bn» для слова «battalion»137), что они не только затрудняют получение открытого текста при аналитическом вскрытии шифра, но и сами пригодны для использования в быту в качестве простейшего средства шифрования. Например, две болтающие кумушки могут упомянуть в разговоре между собой о третьей, назвав лишь ее инициалы, чтобы никто из лиц, находящихся рядом, не понял, о ком, собственно, идет речь.
Следующий вывод состоит в том, что для прочтения криптограммы, открытый текст которой обладает низкой избыточностью, требуется, чтобы она была более длинной, чем в случае криптограммы с высокой избыточностью. Шеннону удалось определить количество шифртекста, необходимого для получения единственного правильного решения задачи вскрытия шифра при условии, что соответствующий открытый текст имеет известную степень избыточности. Необходимое для этого количество букв он назвал «расстоянием единственности» и описал, как вычислить его с помощью довольно сложной формулы. Эта формула, естественно, видоизменяется для различных шифров, но непременным ее членом всегда остается избыточность.
В одной из своих ранних работ, в которой Шеннон исходил из 50-процентной избыточности английского языка, он установил, что расстояние единственности для шифра однобуквенной замены составляет 27 букв, для многоалфавитных шифров с известными алфавитами – двойную длину периода, а с неизвестными алфавитами – 53 длины периода. Наиболее интересное применение шенноновской формулы расчета расстояния единственности связано с определением правильности решения задачи аналитического вскрытия шифра. Шеннон писал:
«Вообще можно утверждать, что если ключ и предложенный метод позволяют прочитать криптограмму при наличии шифртекста, длина которого значительно превосходит расстояние единственности, то решение надежно. Если же длина шифртекста имеет тот же порядок, что и расстояние единственности, или короче его, значит, решение весьма сомнительно».
