Теория информации для машинного обучения1 / 16

Модуль 1. Введение

Как читать этот модуль. Обязательное первое прохождение — §§1.1–1.4. В §1.3 формулы входят как короткий мост от вероятности к энтропии и кросс-энтропии; §1.4 объясняет дальнейший маршрут. §§1.5–1.9 — обзорные и справочные материалы, которые не нужно читать подряд. §§1.10–1.11 сохраняют полный строгий вывод формулы Шеннона для второго прохода — лучше после Модуля 2 или Модуля 4.

Три курса — одна программа. «Теория информации для машинного обучения от NLP и LLM до CV и RL» — математический фундамент серии. Два самостоятельных смежных курса развивают прикладные линии: «Современные LLM» разбирает архитектуру, обучение, инференс и оценку современных языковых моделей, а «Reinforcement Learning для LLM» — обучение по обратной связи, RLVR и агентные системы. Все три курса можно проходить независимо: ссылки между ними ведут к углублению, а не заменяют необходимые объяснения.

1.1. Информация и смысл: почему это не одно и то же

В 1948 году Клод Шеннон строил не просто теорию передачи по телеграфному проводу, а общий язык для источников, кодов и шумных каналов. Инженерный вопрос звучал почти вызывающе просто: какой минимальный ресурс нужен, чтобы передать сообщение надёжно? Чтобы на него ответить, требовалось научиться измерять неопределённость до того, как сообщение пришло.

Начнём с интуиции. Сообщение «завтра в Париже взойдёт солнце» почти ничего не меняет в наших ожиданиях. Сообщение «завтра в Париже будет торнадо» — если оно оказалось верным — меняет их резко. Второе событие не обязательно важнее, полезнее или глубже по смыслу. Оно просто гораздо менее вероятно относительно выбранной модели мира и потому сильнее удивляет.

Это первая нетривиальная мысль курса: информация и смысл — не одно и то же. Шеннон сознательно вынес семантику за границы своей инженерной задачи. На первый взгляд кажется, что теория отказывается от самого интересного. На деле этот отказ и сделал возможной математику: вместо спора о ценности сообщения мы получили вероятности, коды, пределы сжатия и пропускную способность канала.

Сейчас этот ход выглядит естественным, но исторически он был радикальным. Найквист и Хартли уже связывали передачу с числом различимых сообщений и логарифмической шкалой. Шеннон добавил вероятностный источник, неравновероятные сообщения, длинные последовательности и шум — и собрал всё в единую теорию.

Запомните этот выбор: он будет возвращаться через весь курс. Вероятностную языковую модель можно превратить в компрессор без потерь, а её отрицательное логарифмическое правдоподобие связано с длиной кода. Но хорошее сжатие текста не тождественно пониманию текста; низкая функция потерь не является сертификатом истинности; выражение «энтропия языка» становится строгим только после того, как задан источник и уточнён режим длинных последовательностей. Шенноновский аппарат силён не потому, что измеряет всё, а потому, что очень точно измеряет выбранный слой задачи.

Три вопроса, которые пока достаточно различать словами

В дальнейшем у нас появятся три близкие, но разные величины:

насколько неожидан именно этот реализовавшийся исход;
насколько неопределён источник в среднем до наблюдения;
насколько наблюдение одной переменной в среднем уменьшает неопределённость о другой.

В разговоре всё это легко назвать «информацией». В математике это будут разные объекты: surprisal, энтропия и взаимная информация. Формула неожиданности появится в коротком мосте §1.3, энтропия будет подробно разобрана в Модуле 2, а взаимная информация — в Модуле 5. Сейчас важнее не запомнить обозначения, а не смешать вопросы.

1.2. Шенноновский фрейм: сила и ограничения

Шенноновский фрейм продуктивен именно потому, что отвечает на ограниченный набор вопросов. Сначала посмотрим, что он даёт, а затем — где заканчивается точное утверждение.

Где шенноновский фрейм продуктивен

Обучение языковых моделей. Кросс-энтропийная функция потерь задаёт ясную задачу: распределение модели должно назначать высокую вероятность наблюдаемым продолжениям. Это делает кросс-энтропию, перплексию и биты на токен содержательными измерителями, а связь предсказания со сжатием — не метафорой, а математической конструкцией. При этом сама целевая функция не содержит отдельного критерия фактической истинности или понимания. Из этого не следует, что модель не способна формировать полезные представления; следует лишь, что такой результат не гарантируется одной записью loss.

Сжатие изображений и аудио. JPEG, MP3 и современные нейронные кодеки можно рассматривать как разные способы тратить rate ради допустимого distortion. Практический кодек не обязан лежать на теоретической границе $R(D)$ , а выбор меры искажения уже кодирует наши предпочтения. Но именно язык rate–distortion позволяет честно сформулировать компромисс. В Модуле 9 та же логика появится при квантизации весов и активаций.

Обучение представлений через информационную узость. Information Bottleneck ставит нормативный вопрос: сколько информации о входе должно сохранить представление $T$ , чтобы не потерять релевантную информацию о целевой переменной $Y$ ? Это сильная постановка, особенно когда переменные и стохастический энкодер заданы явно. Она не превращается автоматически в объяснение любой детерминированной глубокой сети: в непрерывных моделях взаимную информацию бывает трудно корректно определить и ещё труднее оценить.

Где шенноновского фрейма недостаточно

Галлюцинации LLM. Кросс-энтропийное обучение учит воспроизводить распределение текстовых продолжений. Оно не проверяет каждое утверждение о внешнем мире. Поэтому низкая кросс-энтропия сама по себе не гарантирует фактическую надёжность. Retrieval, инструменты, верификация и внешняя обратная связь добавляют сигналы, которых нет в чистом обучении по правдоподобию.

Эксплуатация награды и закон Гудхарта. Прокси-награда полезна, пока остаётся связана с истинной целью в области, где работает политика. Сильная оптимизация может вывести систему туда, где эта связь меняется. KL-регуляризация в RLHF назначает цену уходу от базовой политики и тем самым создаёт область доверия по распределению. Это важный механизм, но не сертификат того, что прокси стала истинной целью.

Рассуждение, факты и причинность. Вероятностная модель способна хранить факты в параметрах и реализовывать сложные вычисления; поэтому фраза «статистическая модель не умеет рассуждать» слишком груба. Точное ограничение скромнее: обучение по правдоподобию само по себе не гарантирует причинной корректности, точного выполнения алгоритма или устойчивой экстраполяции за пределы обучающего распределения.

Метакомментарий

Принципиальная граница проходит не по лозунгу «теория информации не учитывает смысл», а по способу задания объекта. Шенноновские величины определяются относительно вероятностной модели источника и канала. Смысл часто требует ещё внешнего мира, целей получателя, причинной структуры и критерия успешного действия.

Алгоритмическая теория информации в Модуле 10 сдвинет фокус к длине программ, вычислимости и универсальному предсказанию. Она расширит карту, но не даст готовой теории семантики. Это не поражение аппарата. Это дисциплина: понимать, что именно измеряет формула и где заканчивается её обещание.

1.3. Почему появляется логарифм: короткий мост к энтропии

Ровно один математический шаг. Здесь нужно увидеть механизм, а не выучить формулу заранее. Модуль 2 введёт энтропию систематически, а §§1.10–1.11 дадут полный аксиоматический вывод.

Начнём с одного естественного вопроса: как должна измеряться неожиданность отдельного события?

Пусть событие имеет вероятность $p$ , а его неожиданность обозначена $s(p)$ . Если два события независимы, их совместная вероятность равна $pq$ . Узнав оба события, мы хотим сложить полученную неожиданность:

$s(pq)=s(p)+s(q).$

Это требование переводит произведение вероятностей в сумму информационных вкладов. Именно такую работу делает логарифм. При обычных условиях регулярности — например, непрерывности и монотонном росте неожиданности при уменьшении вероятности — получаем

$s(p)=-c\log p,$

где положительная константа $c$ и основание логарифма задают единицу измерения.

При основании $2$ событие вероятности $1/2$ несёт $1$ бит неожиданности, событие вероятности $1/8$ — $3$ бита. Два независимых броска честной монеты дают четыре равновероятных последовательности и $2$ бита: один бит за первый выбор и один за второй. Логарифм здесь не декоративен. Он ровно выражает требование, чтобы независимые этапы складывались.

Для равномерного источника с $n$ исходами каждый исход имеет вероятность $1/n$ , поэтому неожиданность любого исхода равна

$-\log_2\frac1n=\log_2 n.$

Отсюда уже виден ответ Хартли: число равновероятных альтернатив измеряется логарифмом. Неравномерный источник требует ещё одного шага — усреднить неожиданность по вероятностям самих исходов:

H(P)=\mathbb E_{X\sim P}\!\left[-\log_2 P(X)\right] =-\sum_x P(x)\log_2P(x).

Это и есть формула Шеннона, которую мы подробно разберём в Модуле 2. Здесь она появляется не как символ, который нужно заранее выучить, а как ответ на два последовательных требования: редкий исход должен удивлять сильнее, а независимые этапы должны давать сумму.

Почему это сразу узнаётся в ML

Авторегрессионная модель раскладывает вероятность последовательности в произведение условных вероятностей:

$q(x_{1:T})=\prod_{t=1}^T q(x_t\mid x_{<t}).$

После логарифма произведение превращается в сумму:

-\log_2 q(x_{1:T}) =\sum_{t=1}^T -\log_2 q(x_t\mid x_{<t}).

Для одной наблюдаемой последовательности эта величина является её отрицательным логарифмическим правдоподобием (negative log-likelihood, NLL). Среднее таких величин по набору данных — эмпирическая кросс-энтропия модели относительно данных. Поэтому в практической ML-речи NLL и кросс-энтропия часто стоят рядом, хотя формально первый термин относится к наблюдению или всей выборке, а второй — к среднему по распределению или эмпирической выборке.

По-токенные вклады NLL складываются в функцию потерь всей последовательности. Та же сумма задаёт идеальную длину кода, если предсказательные вероятности подать в энтропийный кодер. Реальный файл добавит накладные расходы кодера, а полная система — ещё и стоимость хранения или передачи самой модели, но математическая связь между предсказанием и длиной кода уже точна.

Иллюстрация к разделу: Почему это сразу узнаётся в ML

Где заканчивается короткий вывод

Из аддитивности мы получили логарифмическую неожиданность и значение $\log n$ для равномерного источника. Но этого ещё недостаточно, чтобы единственным образом выделить формулу Шеннона на всех неравномерных распределениях: энтропии Реньи тоже аддитивны на независимых произведениях и совпадают с $\log n$ на равномерном распределении.

Полный вывод требует более сильной идеи: если выбор совершается в два этапа, общая неопределённость должна равняться неопределённости первого этапа плюс средняя условная неопределённость второго. Эта взвешенная группировка и есть мост от равномерного случая к $-\sum p_i\log p_i$ . В §§1.10–1.11 мост построен полностью; для первого прохождения достаточно знать, зачем он нужен.

1.4. Как устроен курс и как его читать

Основной маршрут и второй проход

В каждом модуле есть основной ML-маршрут и явно помеченные математические углубления. Основной маршрут начинается с узнаваемой задачи, вводит минимально необходимую математику и возвращается к моделям, данным или обучению. Углубление сохраняет полное доказательство, более общие условия и контрпримеры, но не служит входным экзаменом.

В этом модуле разделение уже работает на практике. Чтобы идти дальше, достаточно различать вероятность, неожиданность и смысл, понимать область действия шенноновского фрейма и увидеть короткий логарифмический механизм из §1.3. Полный вывод формулы энтропии ценен, но лучше читать его вторым слоем — после того, как энтропия стала знакомым рабочим объектом.

Язык курса

Поясняющий текст остаётся преимущественно русским. При первом появлении важного термина даётся общепринятый английский эквивалент: целевая функция (objective), сдвиг распределения (distribution shift), обучение представлений (representation learning). Далее используется прежде всего русский вариант. Названия методов, аббревиатуры, API и слова, без которых современный ML-текст звучит искусственно, — softmax, logits, teacher forcing, ELBO, InfoNCE, RLHF, DPO, PyTorch — сохраняются в стандартной форме.

По этой же причине §1.7 — справочная заметка о словах выпуклая и вогнутая, бытовые значения которых подталкивают к обратному прочтению convex и concave, — существует только в русской версии. Английскому читателю такая заметка не нужна, поэтому английский Модуль 1 короче на один раздел, а его последующая нумерация сдвинута на единицу. Во всех остальных модулях нумерация в обеих версиях совпадает.

Как устроен типичный модуль

Сначала появляется вопрос: зачем вообще нужен новый объект. Затем — интуиция, формальная модель и ключевая формула. Короткое доказательство остаётся в основном тексте, если раскрывает механизм; длинная техническая часть уходит в углубление. После этого мы смотрим классический пример, прямое ML-применение, границу интерпретации и проверяем понимание на задаче или коде.

Такой порядок важен. KL, MI или MaxEnt легко превратить в коллекцию символов. Гораздо полезнее увидеть, какой инженерный вопрос привёл к формуле, что именно она гарантирует и какую ошибку мышления предотвращает.

Темп курса не фиксирован жёстко. Один модуль может занять вечер, а может стать темой на неделю. Основной маршрут M1–M9 уже даёт самостоятельный инструментальный слой; M10–M13 добавляют продвинутую теорию и frontier-темы; M14–M15 остаются факультативными специализациями.

Обязательный маршрут Модуля 1 закончен. Следующий шаг — Модуль 2. §1.5 можно быстро просмотреть как карту курса; к §§1.6–1.9 возвращайтесь по необходимости; §§1.10–1.11 открывайте тогда, когда захочется увидеть полный математический механизм.

1.5. Обзор программы курса

Курс выстроен как четыре концентрические окружности — от ядра классической шенноновской теории до её современных расширений в ML.

Ядро языка (Модули 2–3, 5). Энтропия, кросс-энтропия, KL, взаимная информация — фундаментальные меры, на которых строится всё остальное. Технический Модуль 4 — это страховой полис: неравенство Йенсена и связанный аппарат, без которого следующие модули читаются с натяжкой.

Классическая теория Шеннона (Модули 6–7). Теоремы об источнике и канале. Здесь теория встречается с инженерной реальностью: компрессия и связь. Это исторический корень всего, и именно здесь начинают мерцать связи с современным ML — тезис «компрессия как тест интеллекта», контекст как ограниченный ресурс, attention как возможная аналогия канала. Важно: это перспективы и эвристики, а не прямые следствия теорем Шеннона.

Принципы вывода (Модули 8–9). MaxEnt, IB, rate–distortion. Здесь теория информации становится нормативным фреймом для построения систем. Softmax возникает как решение задачи «ожидаемый score + энтропийная регуляризация»; KL-регуляризованный RLHF-оптимум имеет гиббсовскую форму относительно reference policy; VAE допускает rate–distortion и information-bottleneck интерпретации. Каждое из этих утверждений требует явно заданной оптимизационной задачи — без неё красивые аналогии становятся слишком сильными.

Расширения (Модули 10–13). Алгоритмическая теория информации; $f$ -дивергенции и вариационные характеризации; информационная теория обобщения (PAC-Bayes и MI-bounds); frontier-модуль про reasoning в LLM. Эти темы выходят за пределы классической инженерной теории связи и показывают, насколько далеко распространяется информационно-теоретический язык в современном ML — иногда как точная теорема, иногда как исследовательская модель.

Бонусные модули (факультативно). Два дополнительных модуля расширяют охват курса в стороны от основного пути:

Модуль 14 — Информационная теория в компьютерном зрении. Neural image codecs как продолжение M6 для непрерывных источников; связи диффузионных моделей с оцениванием, score identities и I–MMSE; contrastive, self-distillation и masked-reconstruction методы в CV; perceptual losses и distributional metrics. Не все эти методы являются MI-maximization, а LPIPS, SSIM и FID не являются информационно-теоретическими дивергенциями — модуль разделяет прямые теоремы и полезные интерпретации.
Модуль 15 — Информационная геометрия. Fisher information как риманова метрика на статистическом многообразии, естественные градиенты и локальная квадратичная аппроксимация KL через матрицу Фишера. Сам KL не является римановым расстоянием. Углубление M3, M4, M11. Целевая аудитория: ML-инженеры в RL, normalizing flows и тонкой оптимизации, где обычный градиентный спуск сталкивается с плохо обусловленными параметризациями.

Три уровня глубины. Курс намеренно устроен так, что на любом из трёх уровней можно остановиться и иметь самостоятельную, целостную картину:

Уровень 1 — базовый toolkit (M1-M9). Достаточно для практикующего ML-инженера: энтропия, KL/CE, MI, теоремы Шеннона о кодировании и канале, MaxEnt и IB/ELBO/rate-distortion. После M9 вы понимаете информационно-теоретический смысл cross-entropy loss, perplexity, KL-якоря в RLHF, ELBO в VAE, MI-интерпретации некоторых contrastive objectives. Это полный базовый минимум для современной работы.
Уровень 2 — продвинутая теория (M10-M12). Алгоритмическая теория информации (Колмогоров, Соломонофф, AIXI), f-дивергенции и вариационные характеризации, PAC-Bayes и MI-границы обобщения. Это продвинутый теоретический слой над Уровнем 1 — он нужен тем, кто планирует читать современные исследовательские работы или вести свои.
Уровень 3 — capstone и спецтемы (M13 + M14, M15). Reasoning в LLM как синтез всего пройденного (M13). Бонусные модули M14 (CV) и M15 (Information geometry) — углубления для специфической аудитории.

Конкретные рекомендованные траектории прохождения описаны в §1.8.

Иллюстрация к разделу: 1.5. Обзор программы курса

Подробная программа и полный список литературы вынесены в справочные §§1.8–1.9. Литература там сгруппирована по ролям (backbone, справочники, узкие специализации, оригинальные работы), и переходить к ней лучше по мере того, как возникает интерес или ступор в конкретной теме.

1.6. Литература: с чего начинать

Курс не привязан жёстко к одному учебнику. Несколько источников играют разные роли.

Polyanskiy & Wu, «Information Theory: From Coding to Learning» (2025) — современный backbone. Связь IT и ML в нём центральная с первой страницы, что соответствует духу нашего курса.

MacKay, «Information Theory, Inference, and Learning Algorithms» (2003) — классический ML-ориентированный учебник. Он свободно доступен на сайте автора и особенно хорош для интуиции и байесовской перспективы.

Cover & Thomas, «Elements of Information Theory» — справочник для аккуратных доказательств там, где Polyanskiy–Wu или MacKay лаконичны.

Murphy, «Probabilistic Machine Learning: An Introduction» и «Probabilistic Machine Learning: Advanced Topics» — связующий мост между нашими модулями и современным probabilistic ML.

Узкие специализации — Tsybakov для непараметрики, Yamanishi для MDL, Jurafsky–Martin для NLP, MIT VisionBook для CV и Amari для информационной геометрии — перечислены вместе с оригинальными работами Шеннона, Тишби, Хаттера и русскоязычными источниками в §1.9. Не надо пытаться прочитать всё заранее; гораздо эффективнее обращаться к источнику, когда возникает интерес или ступор.

1.7. Справочная заметка: convex / concave (выпуклая / вогнутая функция)

В русскоязычной литературе по математическому анализу есть две конкурирующих традиции именования выпуклых/вогнутых функций. Чтобы избежать путаницы, в этом курсе используется международное соглашение, принятое в Cover & Thomas, MacKay, и во всей оптимизационной и ML-литературе:

Выпуклая (convex) функция — её график лежит ниже хорды, соединяющей две любые точки графика. Геометрически — «чашка». Примеры: $f(x) = x^2$ , $e^x$ , $-\log x$ . Для дважды дифференцируемой функции: $f''(x) \ge 0$ .
Вогнутая (concave) функция — график лежит выше хорды. Геометрически — «шапка». Примеры: $f(x) = \log x$ , $\sqrt{x}$ , энтропия $H_2(p)$ . Для дважды дифференцируемой: $f''(x) \le 0$ .

Если в школе или старых учебниках вы учили иначе — в классической русской традиции (Фихтенгольц и т.д.) часто использовалось «выпуклая вверх» (= современная concave) и «выпуклая вниз» (= современная convex). Без уточнения «вверх/вниз» термины могли значить противоположное современному. Это вопрос терминологический, не математический: $\log$ остаётся той же функцией, неравенство Йенсена работает одинаково.

В этом курсе для определённости: $\log$ — вогнутая, $x^2$ — выпуклая, дискретная энтропия — вогнутая по распределению, KL-дивергенция — совместно выпуклая по паре распределений $(P,Q)$ при стандартных соглашениях о носителях.

Иллюстрация к разделу: 1.7. Справочная заметка: convex / concave (выпуклая / вогнутая функция)

Мнемоника

Запомните не слова, а форму графика и неравенство Йенсена.

Для $\log x$ (типичный пример вогнутой), если $X>0$ почти наверное и соответствующие ожидания конечны: $\mathbb{E}[\log X] \le \log \mathbb{E}[X]$ — «логарифм матожидания не меньше матожидания логарифма».

Для $x^2$ (типичный пример выпуклой), если $\mathbb{E}[X^2]<\infty$ : $\mathbb{E}[X^2] \ge (\mathbb{E}[X])^2$ — «матожидание квадрата не меньше квадрата матожидания» (это в точности неотрицательность дисперсии).

Когда сомневаетесь в названии — мысленно проверяйте на этих двух примерах.

Почему я выбрал именно это соглашение

Все ключевые материалы курса используют его. Cover & Thomas, MacKay, Boyd & Vandenberghe («Convex Optimization» — стандартный учебник), статьи Tishby, работы Хаттера, Delétang et al., вся литература по VAE/RLHF/contrastive learning — везде $\log$ называется concave, а $x^2$ — convex. Если откроете любую современную статью — придётся думать на этом языке.

Современная русскоязычная литература по оптимизации тоже на нём. Поляк, Юдин–Немировский, переводы Boyd, многие современные курсы МФТИ/ВШЭ — согласованы с этой традицией.

Один из двух классических русских терминов имеет встроенную двусмысленность. «Выпуклая» без уточнения «вверх/вниз» зависит от автора и эпохи. Поэтому в формулах и доказательствах надёжнее опираться не на направление слова «выпуклая», а на положение графика относительно хорды и знак второй производной.

P.S. Я сам учился по обратной традиции, принятой у Фихтенгольца. Это более интуитивно для русскоязычного читателя, но, к сожалению, не совпадает с основным подходом, принятым в современной литературе. Пришлось переучиваться и привыкать.

1.8. Справочник: подробная программа курса

Этот подраздел даёт детальное описание каждого модуля курса. Он не входит в обязательный маршрут первого чтения: к нему удобно возвращаться по мере прохождения, чтобы освежить, что будет в следующем модуле или почему тема разнесена между несколькими модулями.

Программа

Иллюстрация к разделу: Программа

Модуль 1. Введение. Информация и смысл — Шеннон сознательно отделил семантические вопросы от инженерной теории связи, и это решение оказалось одновременно силой и естественной границей теории. Основной маршрут объясняет, почему аддитивная мера неожиданности должна быть логарифмической, и связывает этот факт с NLL в авторегрессионных моделях. Факультативные §§1.10–1.11 дают полный аксиоматический вывод: от равномерного источника через взвешенную группировку и непрерывность к формуле Шеннона.

Модуль 2. Энтропия. $H(X)=\mathbb{E}[-\log p(X)]$ как ожидаемая неожиданность. Свойства: неотрицательность, вогнутость, максимум на равномерном распределении. Совместная и условная энтропия, цепное правило $H(X,Y)=H(X)+H(Y\mid X)$ . Классика: энтропия честной и нечестной монеты; эксперимент Шеннона с угадыванием английского текста и его оценка порядка $0.6$ – $1.3$ бит/символ при конкретной постановке эксперимента. ML/LLM: энтропия выходного распределения как мера его рассеянности — не то же самое, что калибровка или эпистемическая неопределённость; как post-training, decoding и temperature меняют энтропию, без универсального утверждения, что любая instruct-модель обязательно имеет меньшую энтропию, чем соответствующая base-модель.

Модуль 3. Кросс-энтропия и KL-дивергенция. Различие между энтропией источника и ожидаемой длиной кода, построенного по другой модели. Определения $H_b(P,Q)$ и $D_{\mathrm{KL},b}(P\|Q)$ , тождество $H_b(P,Q)=H_b(P)+D_{\mathrm{KL},b}(P\|Q)$ , неравенство Гиббса. Асимметрия KL и распространённые mode-covering/mode-seeking эффекты при ограниченных семействах аппроксимаций — именно эффекты типичных постановок, а не абсолютная характеристика любого алгоритма. ML/LLM: empirical negative log-likelihood оценивает cross-entropy; если CE измерена в битах, $\mathrm{PPL}=2^{\mathrm{CE}}$ , если в натах — $\mathrm{PPL}=e^{\mathrm{CE}}$ , в общем случае $\mathrm{PPL}=b^{\mathrm{CE}_b}$ . Роль reference policy и KL-регуляризации в PPO-подобном RLHF и в выводе DPO.

Модуль 4. Неравенство Йенсена: компактный инструментарий для ML. Основной маршрут: Йенсен, условия равенства, log-sum inequality, выпуклость KL, два способа ансамблирования и вывод ELBO. Это технический модуль, но каждая формула привязана к узнаваемой ML-задаче. Более поздние темы не раскрываются заранее: достаточные статистики переходят в Модуль 8, IWAE — в Модуль 9, Donsker–Varadhan и $f$ -GAN — в Модуль 11, PAC-Bayes — в Модуль 12.

Модуль 5. Взаимная информация. $I(X;Y)$ через разность энтропий, KL между совместным распределением и произведением маргиналов и ожидаемое сокращение неопределённости. Data Processing Inequality. MI обнаруживает любую зависимость в том смысле, что $I(X;Y)=0$ тогда и только тогда, когда $X$ и $Y$ независимы (в стандартной постановке), тогда как нулевая корреляция исключает лишь линейную связь. ML: InfoNCE как contrastive objective и, при соответствующей схеме выборки, нижняя оценка MI; Information Bottleneck; MINE и трудности оценки MI в высокой размерности. Интерпретации attention как информационного обмена и residual connections через SDPI будут явно помечены как исследовательские линзы, а не как следствия DPI.

Модуль 6. Кодирование источника. Неравенство Крафта и два уровня теоремы о кодировании. Для оптимального двоичного префиксного кода символа конечного алфавита, если энтропия измерена в битах: $H_2(P)\le L<H_2(P)+1$ . Для длинных блоков из стационарного эргодического источника средняя длина на символ может приближаться к entropy rate. Хаффман, арифметическое кодирование, AEP и типичные множества. ML/LLM: операционально точное соответствие вероятностного prediction и lossless compression через entropy coding, с учётом конечного coding overhead; результаты Delétang et al. как впечатляющая демонстрация, но с оговоркой, что в опубликованных compression ratios не учитывается размер параметров модели. Scaling laws могут описывать приближение cross-entropy к некоторому пределу, но отождествлять этот предел с «истинной энтропией языка» можно только при дополнительных предпосылках. Bits per character и bits per byte — полезные tokenizer-independent единицы, но не единственно допустимые.

Модуль 7. Канал и пропускная способность. Для дискретного канала без памяти capacity определяется как $C=\max_{P_X}I(X;Y)$ . Теорема кодирования для канала, BSC, BEC, гауссовский канал и формула Шеннона–Хартли. ML/LLM: контекстное окно, hidden states и attention можно рассматривать через язык ограниченного информационного потока, но это моделирующая аналогия: архитектура трансформера не становится дискретным каналом Шеннона без явного задания входов, шумов, ограничений и критерия передачи.

Модуль 8. Принцип максимальной энтропии. Принцип Джейнса: при заданных ограничениях выбирать распределение максимальной энтропии. При линейных ограничениях на ожидания решение, когда оно существует, имеет экспоненциальную форму. Это связано с экспоненциальными семействами, но не тождественно теореме Питмана–Купмана–Дармуа: последняя при регулярностных условиях характеризует i.i.d.-семейства, допускающие достаточную статистику фиксированной размерности. Для регулярных экспоненциальных семейств MLE даёт moment matching, если конечное внутреннее решение существует. Softmax удовлетворяет точной вариационной формуле, если $H(q)=-\sum_i q_i\ln q_i$ измеряется в натах и $\tau>0$ :

$q^*=\operatorname{softmax}(z/\tau)=\arg\max_{q\in\Delta_K}\left\{q^\top z+\tau H(q)\right\}.$

Для неограниченной оптимизации по политикам на носителе reference policy задача

$\max_\pi\;\mathbb{E}_{y\sim\pi(\cdot\mid x)}[r(x,y)]-\beta D_{\mathrm{KL}}\!\left(\pi(\cdot\mid x)\|\pi_{\mathrm{ref}}(\cdot\mid x)\right)$

при $\beta>0$ и конечной нормировочной константе имеет решение $\pi^*(y\mid x)\propto\pi_{\mathrm{ref}}(y\mid x)e^{r(x,y)/\beta}$ . Это точное утверждение для указанной оптимизационной задачи; связь с Goodhart — полезная инженерная интерпретация, а не отдельная теорема MaxEnt.

Модуль 9. Information Bottleneck, ELBO, rate–distortion. IB-принцип, rate–distortion theory и variational objectives. VAE ELBO естественно раскладывается на distortion/reconstruction term и rate/KL term; связь с variational IB реальна, но зависит от того, какие переменные названы входом, представлением и target. ML: self-supervised representation learning, квантизация весов и активаций, спор об IB-интерпретации динамики нейросетей. Сверх классики: для $Y_\gamma=\sqrt\gamma X+N$ , где $N\sim\mathcal N(0,1)$ независимо от $X$ и $\mathbb E[X^2]<\infty$ , и взаимной информации в натах

$\frac{d}{d\gamma}I(X;Y_\gamma)=\frac12\operatorname{mmse}(\gamma);$

в битах справа появляется дополнительный множитель $1/\ln 2$ . I–MMSE, Tweedie/score identities и denoising дают важные мосты к diffusion models, но score matching не является следствием одной только I–MMSE identity.

Модуль 10. Алгоритмическая теория информации. Колмогоровская сложность, теорема инвариантности и невычислимость; соломоновская универсальная нижнеполувычислимая semimeasure и соответствующий предиктор; AIXI как идеализированный, невычислимый агент. ML/LLM: MDL, Occam's razor и осторожная аналогия между большой языковой моделью и вычислимым приближением к универсальному предсказанию — именно аналогия, а не установленная теорема Хаттера о конкретных LLM. Принцип Ландауэра, predictive information и free energy principle можно обсуждать рядом, но FEP происходит из вариационного вывода и статистической физики, а не «рождается» непосредственно из колмогоровской сложности.

Модуль 11. $f$ -дивергенции и вариационные характеризации. $f$ -дивергенции включают KL, total variation, $\chi^2$ , squared Hellinger и Jensen–Shannon divergence. Rényi divergence следует рассматривать отдельно: при фиксированном порядке она связана монотонным логарифмическим преобразованием с соответствующей Hellinger/power $f$ -дивергенцией, но сама в общем случае не является $f$ -дивергенцией. Donsker–Varadhan для KL, Gibbs variational principle, Pinsker и другие связи. ML: исходный minimax GAN при оптимальном discriminator и идеализированной постановке связан с JS divergence; f-GAN обобщает конструкцию на $f$ -дивергенции; MINE использует DV-представление.

Модуль 12. Информационная теория обобщения. PAC-Bayes и границы через взаимную информацию между выборкой и результатом алгоритма. Они могут быть data- и algorithm-dependent и потому концептуально тоньше грубого подсчёта параметров, но для глубоких сетей нередко остаются трудновычислимыми или численно vacuous. Почему LLM хорошо генерализуют, несмотря на overparameterization, — открытая исследовательская задача; MDL, flatness и information-theoretic bounds дают разные частичные объяснения, а не завершённую теорию.

Модуль 13. Reasoning в LLM через теорию информации (frontier). Capstone-модуль, где channel, bottleneck, compression и algorithmic search используются как исследовательские модели reasoning. Chain-of-thought можно моделировать как последовательный вычислительный процесс с промежуточным состоянием, но не следует без доказательства отождествлять его с «многократным использованием канала» или считать глубину CoT прямой аппроксимацией соломоновского поиска. В frontier-части — Ton, Taufiq & Liu, «Understanding Chain-of-Thought in LLMs through Information Theory» (arXiv 2024; ICML 2025), и другие недавние работы; все выводы здесь должны быть особенно чётко разделены на теоремы, эмпирику и гипотезы.

Бонусные модули (факультативно)

Два дополнительных модуля расширяют курс в стороны от основного пути. Они написаны так, чтобы их можно было пропустить, пройти не по номеру или подобрать по интересу. Они опираются на основной курс M1–M13, но не используются им обратно.

Модуль 14. Информационная теория в компьютерном зрении (бонус). Neural image compression непосредственно связан с rate–distortion и learned entropy models. Для generative modeling полезны I–MMSE, denoising и score identities. В representation learning методы нужно разделять: SimCLR, MoCo и CLIP используют contrastive objectives; DINO — self-distillation without labels; MAE — masked reconstruction of pixels. Их можно сравнивать информационно, но нельзя без дополнительного вывода объявлять все MI-maximization. LPIPS — learned perceptual feature distance, SSIM — structural similarity index, FID — квадрат $2$ -Wasserstein-расстояния между гауссовскими аппроксимациями распределений признаков (обычно Inception features); это не $f$ -дивергенции и не «информационно-теоретические дивергенции» в стандартном смысле. MSE уместен для squared-error/PSNR objectives, хотя часто плохо совпадает с человеческим perceptual quality.

Модуль 15. Информационная геометрия (бонус). Распределения как точки статистического многообразия, Fisher information matrix $G(\theta)$ как риманова метрика и естественный градиент

$\widetilde\nabla_\theta L=G(\theta)^{-1}\nabla_\theta L.$

Эта запись использует невырожденную $G$ в регулярной параметризации; вырожденный случай требует работы на идентифицируемом пространстве (§15.3).

KL не является метрикой или римановым расстоянием, но для близких параметров при регулярностных условиях

$D_{\mathrm{KL}}(p_\theta\|p_{\theta+d\theta})=\frac12d\theta^\top G(\theta)d\theta+o(\|d\theta\|^2).$

Регулярные экспоненциальные семейства обладают dually flat структурой относительно пары dual affine connections; это не означает нулевую кривизну Fisher–Rao metric во всех смыслах. TRPO использует приближённое решение KL-constrained surrogate problem и близок к natural-gradient methods, но не является «точным natural gradient». PPO clipping — практическая эвристика и не гарантирует строгого trust region. K-FAC аппроксимирует Fisher/Gauss–Newton curvature при определённых предпосылках; Shampoo — structured preconditioner из семейства full-matrix AdaGrad/second-order-inspired методов, а не просто ещё одна аппроксимация Fisher.

1.9. Справочник: полный аннотированный список литературы

Материалы

Курс не привязан жёстко к одному учебнику. Источники сгруппированы по их роли.

Современный backbone (математическая строгость + современная подача).

Polyanskiy & Wu, «Information Theory: From Coding to Learning» (2025) — современный учебник, делающий связь IT и ML центральной с первой страницы. Используется как основной справочник по строгим доказательствам.
MacKay, «Information Theory, Inference, and Learning Algorithms» (2003) — классика, в которой теория информации с самого начала подаётся в связке с машинным обучением и байесовским выводом. Свободно доступна на сайте автора; особенно хороша для интуиции и байесовской перспективы.

Классические доказательства как справочник.

Cover & Thomas, «Elements of Information Theory», 2-е изд. (2006) — каноническая книга для аккуратных доказательств.
Csiszár & Körner, «Information Theory: Coding Theorems for Discrete Memoryless Systems» — глубокая книга по комбинаторной стороне.

Probabilistic ML спутник.

Murphy, «Probabilistic Machine Learning: An Introduction» и «Probabilistic Machine Learning: Advanced Topics» (2022, 2023) — стандартный современный учебник по ML с правильной информационно-теоретической базой. Хороший мост между нашими модулями и общим современным ML.

Узкие специализации.

Tsybakov, «Introduction to Nonparametric Estimation» (2009) — для аккуратных нижних границ через теорию информации: Fano, Le Cam, Assouad. Используется в Модулях 5 и 12.
Yamanishi, «Learning with the Minimum Description Length Principle» (2023) — углубление MDL. Используется в Модуле 10.
Jurafsky & Martin, «Speech and Language Processing», 3-е изд., online manuscript (2026) — NLP-домен. Используется в Модулях 6 и 13.

Практика и код.

Zhang, Lipton, Li, Smola, «Dive into Deep Learning» — практические Python-примеры для энтропии, кросс-энтропии и KL.

Квантизация моделей (для Модуля 9).

Frantar et al., «GPTQ» (ICLR 2023); Lin et al., «AWQ» (MLSys 2024); Xiao et al., «SmoothQuant» (ICML 2023) — методы post-training quantization для развёртывания LLM. Они хорошо иллюстрируют инженерный компромисс «размер / скорость / ошибка», но не являются прямыми следствиями теоремы скорость–искажение.

Computer Vision (для Модуля 14).

Torralba, Isola, Freeman, «Foundations of Computer Vision» (MIT VisionBook, 2024) — общий современный CV-фон.
Ballé, Laparra, Simoncelli, «End-to-end Optimized Image Compression» (2017) и Ballé et al., «Variational Image Compression with a Scale Hyperprior» (2018) — основополагающие работы по нейронным кодекам, базис §14.2.
Blau & Michaeli, «Rethinking Lossy Compression: The Rate-Distortion-Perception Tradeoff» (2019) — теоретический фундамент §14.4.
Mentzer et al., «High-Fidelity Generative Image Compression» (HiFiC, 2020) — практический перцептивный кодек.
Radford et al., «Learning Transferable Visual Models From Natural Language Supervision» (CLIP, 2021) — основа §14.5; IB-интерпретация возможна, но не является основным утверждением статьи.
Chen et al., «A Simple Framework for Contrastive Learning» (SimCLR); He et al., «Momentum Contrast» (MoCo); Grill et al., «Bootstrap Your Own Latent» (BYOL); Caron et al., «Emerging Properties in Self-Supervised Vision Transformers» (DINO); Oquab et al., «DINOv2»; He et al., «Masked Autoencoders Are Scalable Vision Learners» (MAE) — разные семейства SSL-методов для §14.6.

Информационная геометрия, RL и generative flows (для Модуля 15).

Amari, «Information Geometry and Its Applications» (Springer, 2016) — корневая учебниковая ссылка Модуля 15.
Amari, «Natural Gradient Works Efficiently in Learning» (1998) — основополагающая работа по естественному градиенту.
Schulman et al., «Trust Region Policy Optimization» (2015) и «Proximal Policy Optimization Algorithms» (2017) — основа §15.5.
Kakade, «A Natural Policy Gradient» (2001) — переход естественного градиента в RL.
Haarnoja et al., «Soft Actor-Critic» (2018) — maximum-entropy RL.
Martens & Grosse, «Optimizing Neural Networks with Kronecker-factored Approximate Curvature» (K-FAC, 2015); Gupta, Koren & Singer, «Shampoo» (2018); Anil et al., «Scalable Second-Order Optimization for Deep Learning» (2020) — структурное предобусловливание и приближения кривизны.
Lipman et al., «Flow Matching for Generative Modeling»; Liu et al., «Flow Straight and Fast»; Song et al., «Score-Based Generative Modeling through Stochastic Differential Equations» — основа §§15.6–15.7.
Ouyang et al., «Training Language Models to Follow Instructions with Human Feedback» (InstructGPT); Rafailov et al., «Direct Preference Optimization» — основа capstone о RLHF/DPO.

Русскоязычные ресурсы.

Верещагин, Успенский, Шень, «Колмогоровская сложность и алгоритмическая случайность» (МЦНМО, 2013) — фундаментальная книга по алгоритмической теории информации.
Вьюгин, «Математические основы машинного обучения и прогнозирования» (МЦНМО, 2022) — современная книга, охватывающая PAC-Bayes и online learning.
Учебник ШАД/Яндекса: «Энтропия и семейство экспоненциальных распределений» — полезный русскоязычный материал к Модулю 8.

Frontier reasoning.

Ton, Taufiq & Liu, «Understanding Chain-of-Thought in LLMs through Information Theory» (ICML 2025) — информационно-теоретический анализ шагов CoT.

Обязательные оригинальные работы для полного прочтения.

Shannon, «A Mathematical Theory of Communication» (1948) — один из лучших научных текстов XX века, читается неожиданно легко.
Tishby, Pereira, Bialek, «The Information Bottleneck Method» (1999) — основа Модуля 9.
Belghazi et al., «MINE: Mutual Information Neural Estimation» (2018) — связь MI и нейросетевых вариационных оценок.
Delétang et al., «Language Modeling Is Compression» (ICLR 2024) — прямая связь IT и современных языковых моделей.
Hutter, «Universal Artificial Intelligence» (2005) — основа Модуля 10.
Guo, Shamai, Verdú, «Mutual Information and Minimum Mean-Square Error in Gaussian Channels» (2005) — I–MMSE identity, основа связи с диффузионными моделями.
Amari, «Natural Gradient Works Efficiently in Learning» (1998) — фундаментальная работа по NGD.

Для интуиции.

1.10. Факультативное математическое углубление I: равномерный источник

Второй проход. Ни один следующий модуль не требует помнить детали этого доказательства. Его цель — показать, что логарифм не был угадан по красивой форме: он вынужден согласованностью многоэтапного выбора.

Пусть

$f(n):=H\!\left(\frac1n,\ldots,\frac1n\right)$

обозначает неопределённость равномерного выбора из $n$ вариантов. Нам понадобятся два требования.

Монотонность. Если равновероятных вариантов стало больше, неопределённость не должна уменьшаться.

Согласованность двухэтапного выбора. Выбор одного из $mk$ равновероятных исходов можно описать как выбор одной из $m$ равновероятных групп, а затем одного из $k$ элементов внутри группы. Поэтому

$f(mk)=f(m)+f(k).$

Теперь докажем точную теорему.

Теорема. Если $f:\mathbb N\to\mathbb R$ не убывает и

$f(mk)=f(m)+f(k)$

для всех $m,k\ge1$ , то существует константа $c\ge0$ такая, что

$f(n)=c\ln n.$

Доказательство. Подставим $m=k=1$ :

$f(1)=f(1)+f(1),$

откуда $f(1)=0$ . Из монотонности следует $f(n)\ge0$ для всех $n\ge1$ .

Здесь есть маленькая, но важная развилка. Аксиомы допускают вырожденное решение $f\equiv0$ ; оно соответствует $c=0$ . Если решение невырождено, существует хотя бы одно $a\ge2$ с $f(a)>0$ . Зафиксируем такое $a$ .

Из функционального уравнения по индукции получаем для любого целого $r\ge0$

$f(u^r)=r f(u).$

Теперь зафиксируем произвольное $n\ge2$ . Для каждого $r\ge1$ положим

$s_r=\left\lfloor r\log_a n\right\rfloor.$

Тогда

$a^{s_r}\le n^r<a^{s_r+1}.$

Поскольку $f$ не убывает,

$f(a^{s_r})\le f(n^r)\le f(a^{s_r+1}).$

Используя формулу для степеней, получаем

$s_r f(a)\le r f(n)\le(s_r+1)f(a).$

Можно разделить на $r f(a)$ , потому что $r>0$ и $f(a)>0$ :

\frac{s_r}{r} \le \frac{f(n)}{f(a)} \le \frac{s_r+1}{r}.\qquad (1)

Но из определения $s_r$ одновременно следует

\frac{s_r}{r} \le \log_a n < \frac{s_r+1}{r}.\qquad (2)

Обе величины, $f(n)/f(a)$ и $\log_a n$ , лежат в интервале длины $1/r$ . Следовательно,

$\left|\frac{f(n)}{f(a)}-\log_a n\right|\le\frac1r.$

Левая часть от $r$ не зависит, а оценка верна для любого $r$ . Переходя к пределу $r\to\infty$ , получаем

$\frac{f(n)}{f(a)}=\log_a n.$

Значит,

f(n)=f(a)\log_a n =\frac{f(a)}{\ln a}\ln n =c\ln n.

В невырожденном случае $c>0$ ; вместе с решением $f\equiv0$ получаем $c\ge0$ . $\blacksquare$

Что именно мы доказали

Мы получили логарифмическую форму только на равномерных распределениях. Непрерывность здесь не использовалась: функция пока определена на натуральных $n$ . Чтобы перейти к произвольным вероятностям, понадобится взвешенная группировка — содержательно более сильное требование, чем простая аддитивность независимых источников.

1.11. Факультативное математическое углубление II: от группировки к формуле Шеннона

Второй проход. Этот раздел завершает доказательство. Основная идея важнее техники: неопределённость многоэтапного выбора должна раскладываться по тому же принципу, что и ожидаемая стоимость решения дерева.

Рассмотрим функцию $H(p_1,\ldots,p_k)$ на конечных вероятностных векторах. Переименование исходов ничего не меняет; исходы нулевой вероятности можно удалить; $H$ непрерывна на симплексе.

Ключевое требование — взвешенная группировка. Пусть сначала выбирается группа $i$ с вероятностью $p_i$ , а затем внутри неё исход $j$ с условной вероятностью $q_{j\mid i}$ . Тогда

H\bigl(p_iq_{j\mid i}:i,j\bigr) =H(p_1,\ldots,p_m) +\sum_{i=1}^m p_i H(q_{1\mid i},\ldots,q_{k_i\mid i}).

Это конечная форма цепного правила: неопределённость первого этапа плюс средняя неопределённость второго.

Шаг 1. Рациональные вероятности

Пусть $p_i=n_i/N$ , где $n_i$ — положительные целые и $N=\sum_i n_i$ . Представим $N$ равновероятных микроисходов и объединим их в группы размеров $n_1,\ldots,n_k$ . Выбор микроисхода можно описать двумя способами.

Сразу выбрать один из $N$ исходов стоит $f(N)$ . Сначала выбрать группу, а затем элемент внутри группы —

$H(p_1,\ldots,p_k)+\sum_{i=1}^k p_i f(n_i).$

По группировке эти выражения равны:

$f(N)=H(p_1,\ldots,p_k)+\sum_i p_i f(n_i).$

Подставляем результат §1.10, $f(n)=c\ln n$ :

\begin{aligned} H(p_1,\ldots,p_k) &=c\ln N-c\sum_i p_i\ln n_i\\ &=-c\sum_i p_i\ln\frac{n_i}{N}\\ &=-c\sum_i p_i\ln p_i. \end{aligned}

Формула Шеннона получена для всех распределений с рациональными вероятностями.

Шаг 2. Произвольные вероятности

Рациональные точки плотны в вероятностном симплексе. Непрерывность $H$ переносит формулу на произвольные вещественные вероятности:

$H(p_1,\ldots,p_k)=-c\sum_i p_i\ln p_i,$

с соглашением $0\ln0:=0$ .

Аксиомы всё ещё допускают нулевую меру $H\equiv0$ . Нормировка одновременно исключает её и выбирает единицу. Если потребовать

$H\!\left(\frac12,\frac12\right)=1\ \text{бит},$

то $c=1/\ln2$ , и формула принимает привычный вид

$H(p_1,\ldots,p_k)=-\sum_i p_i\log_2p_i.$

Почему одной аддитивности независимых источников недостаточно

Здесь легко сделать слишком сильный вывод. Семейство энтропий Реньи

H_\alpha(P)=\frac{1}{1-\alpha}\log\sum_i p_i^\alpha, \qquad \alpha>0,\ \alpha\ne1,

тоже аддитивно для независимых распределений и тоже равно $\log n$ на равномерном распределении. Поэтому логарифмическая шкала и product-additivity ещё не выделяют Шеннона. Выделяет его взвешенная группировка, то есть правильный учёт того, с какой вероятностью мы попадаем в каждую ветвь второго этапа.

Контрпример в числах

Этот контрпример стоит увидеть явно: качественное утверждение выше легко принять, не заметив, насколько оно точное. Возьмём энтропию Реньи порядка $2$ :

$H_2(P)=-\log_2\sum_i p_i^2.$

На равномерном источнике она даёт логарифм. Для $U_n=(1/n,\ldots,1/n)$

$\sum_{i=1}^n\left(\frac1n\right)^2=\frac1n,$

поэтому

$H_2(U_n)=-\log_2\frac1n=\log_2n.$

На независимых произведениях она аддитивна. Для независимых $P=(p_i)$ и $Q=(q_j)$ :

\begin{aligned} H_2(P\otimes Q) &=-\log_2\sum_{i,j}(p_iq_j)^2\\ &=-\log_2\left(\sum_i p_i^2\right) \left(\sum_j q_j^2\right)\\ &=H_2(P)+H_2(Q). \end{aligned}

И тем не менее взвешенная группировка нарушается. Пусть

$P=\left(\frac12,\frac14,\frac14\right).$

Прямое вычисление даёт

$H_2(P)=-\log_2\frac38=\log_2\frac83\approx1.415.$

Опишем тот же выбор в два этапа: сначала группа $\{1\}$ или $\{2,3\}$ с вероятностями $(1/2,1/2)$ , затем исход внутри выбранной группы. Шенноновская правая часть была бы равна

H_2\!\left(\frac12,\frac12\right) +\frac12H_2(1) +\frac12H_2\!\left(\frac12,\frac12\right) =1+0+\frac12=1.5.

Числа не совпадают: $1.415$ против $1.5$ . То есть $H_2$ проходит оба более слабых теста и не проходит тождество группировки — именно поэтому выводу выше и потребовалась более сильная аксиома. Обратите внимание и на то, чему это не противоречит: §§1.10–1.11 нигде не утверждали, что логарифмической шкалы и аддитивности на произведениях достаточно. Они являются необходимыми следствиями аксиом, а $H_2$ показывает, что сами по себе они этого не обеспечивают.

Вот теперь формула не постулирована и не угадана. Мы увидели весь механизм: многоэтапный выбор заставляет появиться логарифм в равномерном случае, группировка переносит его на рациональные вероятности, непрерывность закрывает вещественный симплекс, а нормировка выбирает биты.