Читаем без скачивания Кибернетика или управление и связь в животном и машине - Норберт Винер

Следующая глава посвящена статистической механике временных рядов. В этой области условия также очень далеки от условий, принимаемых статистической механикой для тепловых двигателей, и поэтому они весьма хорошо могут служить моделью того, что происходит в живых организмах. [c.118]

Глава III. Временные ряды, информация и связь

Существует широкий класс явлений, в которых объектом наблюдения служит какая-либо числовая величина или последовательность числовых величин, распределенные во времени. Температура, непрерывно записываемая самопишущим термометром; курс акций на бирже в конце каждого дня; сводка метеорологических данных, ежедневно публикуемая бюро погоды, — все это временные ряды, непрерывные или дискретные, одномерные или многомерные. Эти временные ряды меняются сравнительно медленно, и их вполне можно обрабатывать посредством вычислений вручную или при помощи обыкновенных вычислительных приборов, таких, как счетные линейки и арифмометры. Их изучение относится к обычным разделам статистической науки.

Но не все отдают себе отчет в том, что быстро меняющиеся последовательности напряжений в телефонной линии, телевизионной схеме или радиолокаторе точно так же относятся к области статистики и временных рядов, хотя приборы, которые их комбинируют и преобразуют, должны, вообще говоря, обладать большим быстродействием и, более того, должны выдавать результаты одновременно с очень быстрыми изменениями входного сигнала. Эти приборы: телефонные аппараты, волновые фильтры, автоматические звукокодирующие устройства типа вокодера[138] Белловских телефонных лабораторий, схемы частотной модуляции и соответствующие им приемники — по существу [c.119] представляют собой быстродействующие арифметические устройства, соответствующие всему собранию вычислительных машин и программ статистического бюро, вместе со штатом вычислителей. Необходимый для их применения разум был вложен в них заранее, так же как и в автоматические дальномеры и системы управления артиллерийским зенитным огнем и по той же причине: цепочка операций должна выполняться настолько быстро, что ни в одном звене нельзя допустить участия человека.

Все эти временные ряды и все устройства, работающие с ними, будь то в вычислительном бюро или в телефонной схеме, связаны с записью, хранением, передачей и использованием информации. Что же представляет собой эта информация и как она измеряется? Одной из простейших, наиболее элементарных форм информации является запись выбора между двумя равновероятными простыми альтернативами, например между гербом и решеткой при бросании монеты. Мы будем называть решением однократный выбор такого рода. Чтобы оценить теперь количество информации, получаемое при совершенно точном измерении величины, которая заключена между известными пределами А и В и может находиться с равномерной априорной вероятностью где угодно в этом интервале, положим А=0, В=1 и представим нашу величину в двоичной системе бесконечной двоичной дробью 0, а1 а2 а3 … an …, где каждое а1, а2, … имеет значение 0 или 1. Здесь

           (3.01)

Мы видим, что число сделанных выборов и вытекающее отсюда количество информации бесконечны.

Однако в действительности никакое измерение не производится совершенно точно. Если измерение имеет равномерно распределенную ошибку, лежащую в интервале длины 0, b1 b2 … bn …, где bk — первый разряд, отличный от 0, то, очевидно, все решения от а1 до аk—1 и, возможно, до ak будут значащими, а все последующие — нет. Число принятых решений, очевидно, близко к

           (3.02)

[c.120]

и это выражение мы примем за точную формулу количества информации и за его определение.

Это выражение можно понимать следующим образом: мы знаем априори, что некоторая переменная лежит между нулем и единицей, и знаем апостериори, что она лежит в интервале (а, b) внутри интервала (0, 1). Тогда количество информации, извлекаемой нами из апостериорного знания, равно

           (3.03)

Рассмотрим теперь случай, когда мы знаем априори, что вероятность нахождения некоторой величины между х и x+dx равна f1(x)dx, а апостериорная вероятность этого равна f2(x)dx. Сколько новой информации дает нам наша апостериорная вероятность?

Эта задача по существу состоит в определении ширины областей, расположенных под кривыми y=f1(x) и y=f2(x). Заметим, что, по нашему допущению, переменная х имеет основное равномерное распределение, т. е. наши результаты, вообще говоря, будут другими, если мы заменим х на х3 или на какую-либо другую функцию от х. Так как f1(x) есть плотность вероятности, то

           (3.04)

Поэтому средний логарифм ширины области, расположенной под кривой f1(x), можно принять за некоторое среднее значение высоты логарифма обратной величины функции f1(x). Таким образом, разумной мерой[139] количества информации, связанного с кривой f1(x), может служить[140] [c.121]

           (3.05)

Величина, которую мы здесь определяем как количество информации, противоположна по знаку величине, которую в аналогичных ситуациях обычно определяют как энтропию. Данное здесь определение не совпадает с определением Р.А. Фишера для статистических задач, хотя оно также является статистическим определением и может применяться в методах статистики вместо определения Фишера.

В частности, если f1(x) постоянна на интервале (а, b) и равна нулю вне этого интервала, то

           (3.06)

Используя это выражение для сравнения информации о том, что некоторая точка находится в интервале (0, 1), с информацией о том, что она находится в интервале (а, b), получим как меру разности

           (3.07)

Определение, данное нами для количества информации, пригодно также в том случае, когда вместо переменной х берется переменная, изменяющаяся в двух или более измерениях. В двумерном случае f1 (x, y) есть такая функция, что

           (3.08)

и количество информации равно

           (3.081)

Заметим, что если f1(x, y) имеет вид φ(х)ψ(y) и

 ,          (3.082)

[c.122]

то

           (3.083)

и

           (3.084)

т. е. количество информации от независимых источников есть величина аддитивная.

Интересной задачей является определение информации, получаемой при фиксации одной или нескольких переменных в какой-либо задаче. Например, положим, что переменная u заключена между х и x+dx с вероятностью

 ,

а переменная v заключена между теми же двумя пределами с вероятностью

Сколько мы приобретаем информации об u, если знаем, что u+v=w? В этом случае очевидно, что u=w—v, где w фиксировано. Мы полагаем, что априорные распределения переменных u и v независимы, тогда апостериорное распределение переменной u пропорционально величине

 ,          (3.09)

где c1 и c2 — константы. Обе они исчезают в окончательной формуле.

Приращение информации об u, когда мы знаем, что w таково, каким мы его задали заранее, равно

 [c.123]

           (3.091)

Заметим, что выражение (3.091) положительно и не зависит от w. Оно равно половине логарифма от отношения суммы средних квадратов переменных u и v к среднему квадрату переменной v. Если v имеет лишь малую область изменения, то количество информации об u, которое дается знанием суммы u+v, велико и становится бесконечным, когда b приближается к нулю.