Модуль 16. Памятка по курсу

16.1. Памятка по курсу: ключевые идеи и формулы

Эта памятка — не ещё один теоретический модуль. Она нужна для трёх ситуаций: быстро восстановить определение, выбрать подходящую информационную величину и заметить слишком сильный вывод до того, как он превратится в ошибку модели или эксперимента.

Читать её подряд необязательно. Лучше возвращаться к нужному блоку по вопросу: что именно я сейчас измеряю, относительно какого распределения и в каких единицах? За доказательствами, примерами, кодом и первоисточниками следует обращаться к соответствующим модулям 1–15.

Сначала четыре диагностических вопроса

Перед любой информационно-теоретической формулой полезно спросить:

1. Чьё распределение стоит внутри логарифма? Источника данных $P$, модели $Q_\theta$, апостериорного распределения, политики или критика?
2. По какому распределению берётся среднее? По данным, по модели, по смеси, по траекториям политики или по случайности алгоритма обучения?
3. Что является единицей? Бит, нат, бит/токен, бит/байт, бит/пиксель, бит/использование канала или полная длина описания?
4. Каков статус величины? Это теоретическая величина на уровне распределения, оценка по конечной выборке, обучающая целевая функция, вариационная граница или реальный физический поток битов?

Большая часть путаницы в машинном обучении возникает не из сложной математики, а из незаметной смены ответа хотя бы на один из этих вопросов.

Обозначения и единицы

В памятке $P$ обычно обозначает распределение источника или данных, а $Q$ — модель. Если основание логарифма равно двум, информационные величины измеряются в битах; если используется натуральный логарифм — в натах:

$$\log_2 x=\frac{\ln x}{\ln 2}.$$

При $p(x)>0$ и $q(x)=0$ модель объявила возможное событие невозможным, поэтому соответствующие кросс-энтропия и дивергенция Кульбака—Лейблера (KL) бесконечны.

---

1. Неожиданность, энтропия и счёт модели — M1–M3

Неожиданность отдельного исхода

$$s_P(x)=-\log_b p(x).$$

Логарифм превращает произведение вероятностей независимых этапов в сумму информационных цен:

$$s(pq)=s(p)+s(q).$$

Редкое событие получает большой счёт, вероятное — малый. Этот счёт ничего не говорит о семантической важности события: невероятная опечатка может быть информационно дорогой и при этом бессмысленной.

Энтропия

$$H_b(X) = \mathbb E_{X\sim P}[-\log_b p(X)] = -\sum_x p(x)\log_b p(x).$$

Энтропия — средний счёт за неопределённость источника. Для конечного алфавита размера $K$:

$$0\le H_b(X)\le \log_b K,$$

а максимум достигается на равномерном распределении.

Для пары переменных действует цепное правило:

$$H(X,Y)=H(X)+H(Y\mid X).$$

Для последовательности:

$$H(X_{1:T}) = \sum_{t=1}^{T}H(X_t\mid X_{<t}).$$

Это бухгалтерия авторегрессии: общий счёт раскладывается на последовательные условные счета.

Кросс-энтропия и KL

$$H_b(P,Q) = \mathbb E_{X\sim P}[-\log_b q(X)],$$ $$D_{\mathrm{KL},b}(P\|Q) = \mathbb E_{X\sim P} \left[ \log_b\frac{p(X)}{q(X)} \right].$$

Главное разложение:

$$\boxed{ H_b(P,Q)=H_b(P)+D_{\mathrm{KL},b}(P\|Q) }.$$

Энтропия $H(P)$ — неизбежная неопределённость источника. KL — средняя доплата за использование чужой вероятностной модели.

Для условного предсказания:

$$\mathcal L(\theta) = \mathbb E_P[-\log q_\theta(Y\mid X)] = H_P(Y\mid X) + \mathbb E_X D_{\mathrm{KL}} \bigl( P(\cdot\mid X)\|Q_\theta(\cdot\mid X) \bigr).$$

Максимальное правдоподобие уменьшает вторую часть, но не может убрать внутреннюю неопределённость данных.

Авторегрессионное отрицательное логарифмическое правдоподобие (NLL) и перплексия

$$-\log q_\theta(x_{1:T}) = \sum_{t=1}^{T} -\log q_\theta(x_t\mid x_{<t}).$$

Средняя логарифмическая потеря $\bar L_b$ превращается в перплексию:

$$\operatorname{PPL}_b=b^{\bar L_b}.$$

Перплексия является монотонным преобразованием среднего отрицательного логарифмического правдоподобия (NLL), а не отдельной мерой истины, рассуждения или фактической корректности.

Градиент кросс-энтропии после softmax

Если $q=\operatorname{softmax}(z)$, $r$ — целевое распределение, а кросс-энтропия измеряется в натах, то

$$\boxed{\nabla_z\ell=q-r}.$$

Для основания $b$ градиент равен $(q-r)/\ln b$. Модель увеличивает логиты там, где целевая масса больше модельной, и уменьшает там, где модель выделила слишком много вероятности.

Не смешивать

• Предиктивная энтропия $H(Q_\theta(\cdot\mid x))$ спрашивает, насколько распределена сама модель до наблюдения ответа.
• Отрицательное логарифмическое правдоподобие (NLL) $-\log q_\theta(y\mid x)$ спрашивает, какую вероятность модель дала реально произошедшему ответу.
• Энтропия источника $H_P(Y\mid X)$ относится к истинному распределению данных.

Уверенная ошибка может иметь низкую предиктивную энтропию и огромный NLL.

---

2. Среднее и нелинейность: Йенсен и вариационные границы — M4

Для выпуклой функции $\phi$:

$$\phi(\mathbb E[X])\le \mathbb E[\phi(X)].$$

Для вогнутой функции направление меняется. Это простой компас: сначала определите кривизну, затем порядок «усреднить» и «применить функцию».

Ансамбль вероятностей

Поскольку $-\log$ выпукла,

$$-\log\left(\sum_j\lambda_jq_j(y)\right) \le \sum_j\lambda_j[-\log q_j(y)].$$

Арифметическая смесь вероятностей не хуже среднего участника по логарифмической потере для каждого примера. Это не означает, что она обязана улучшить точность классификации, калибровку или устойчивость к сдвигу распределения.

Вариационная нижняя граница (ELBO)

Для латентной модели:

$$\log p_\theta(x) = \operatorname{ELBO}(x) + D_{\mathrm{KL}} \bigl( q_\phi(z\mid x)\|p_\theta(z\mid x) \bigr),$$

где

$$\operatorname{ELBO}(x) = \mathbb E_{q_\phi(z\mid x)} \left[ \log p_\theta(x,z)-\log q_\phi(z\mid x) \right].$$

ELBO — нижняя граница на логарифм правдоподобия, а её разрыв известен точно: это KL к истинному апостериорному распределению.

Укрупнение состояний

Если детерминированное или случайное преобразование скрывает детали, то различимость по KL не возрастает:

$$D_{\mathrm{KL}}(P_Y\|Q_Y) \le D_{\mathrm{KL}}(P_X\|Q_X).$$

Это один из первых видов общего принципа: обработка может перепаковать информацию, но не создать различимость из ничего.

---

3. Взаимная информация: ценность наблюдения — M5

Формулы через разность энтропий ниже записаны для дискретных величин с конечной $H(Y)$. В общем случае MI определяется через KL; это позволяет не вычитать бесконечности.

$$\boxed{ I(X;Y) = D_{\mathrm{KL}}(P_{XY}\|P_XP_Y) = H(Y)-H(Y\mid X) }.$$

У взаимной информации три эквивалентных чтения:

• сокращение оптимальной логарифмической потери при наблюдении $X$;
• расстояние реального совместного распределения до мира независимости;
• средняя величина статистической связи между $X$ и $Y$.

Условная взаимная информация:

$$I(X;Y\mid Z) = H(Y\mid Z)-H(Y\mid X,Z).$$

Она отвечает на вопрос: что $X$ добавляет о $Y$, когда $Z$ уже известно? Именно поэтому условная взаимная информация (CMI) обнаруживает избыточность и синергию, которую одномерный отбор признаков может пропустить.

Неравенство обработки данных

Если

$$Y\longrightarrow X\longrightarrow T,$$

то

$$I(Y;T)\le I(Y;X).$$

Энкодер может сделать информацию более доступной ограниченному классификатору, не создавая новых битов о целевой переменной.

InfoNCE

При положительной паре из $P_{XY}$ и $N-1$ отрицательных кандидатах, независимо выбранных из $P_Y$ и независимых от положительной пары, population-граница имеет вид:

$$I(X;Y) \ge \log N-\mathcal L_{\mathrm{NCE}}.$$

Потолок $\log N$ относится к этой конкретной нижней границе, а не к истинной взаимной информации и не к качеству представления вообще.

Оценивание взаимной информации

Нужно различать:

$$\text{истинная MI} \ne \text{оценка по выборке} \ne \text{обучающая прокси-цель}.$$

Подстановочные, соседские и нейросетевые оцениватели имеют разные смещения, дисперсии и режимы отказа. Число без протокола оценки мало что означает.

---

4. От вероятностей к битам и от сообщений к каналам — M6–M7

Неравенство Крафта

Для длин двоичного префиксного кода:

$$\sum_i2^{-\ell_i}\le1.$$

Это бюджет бинарного дерева: короткое кодовое слово занимает большую часть доступного пространства.

Теорема кодирования источника

Для оптимального односимвольного префиксного кода:

$$H_2(X)\le L^*<H_2(X)+1.$$

Для кода, настроенного на модель $Q$, идеальная средняя длина равна:

$$\mathbb E_P[-\log_2q(X)] = H_2(P)+D_{\mathrm{KL},2}(P\|Q).$$

Арифметический или интервальный кодер (range coder) превращает последовательные условные вероятности в реальный обратимый поток, но конечная точность, завершение, заголовки и служебные данные добавляют накладные расходы.

Поэтому важно различать:

$$L_{\mathrm{ideal}}, \qquad L_{\mathrm{stream}}, \qquad L_{\mathrm{total}}.$$

Последняя величина может включать стоимость модели, токенизатора и протокола декодирования.

Свойство асимптотической равномерности (AEP) и энтропийная скорость

Для источника из независимых одинаково распределённых символов (i.i.d.):

$$-\frac1n\log_2P(X^n) \longrightarrow H_2(X).$$

Для стационарного источника с памятью центральным объектом становится энтропийная скорость:

$$h = \lim_{n\to\infty}\frac1nH(X_{1:n}).$$

Пропускная способность канала

Для дискретного канала без памяти:

$$\boxed{C=\max_{P_X}I(X;Y)}.$$

$I(X;Y)$ при фиксированном входе — одна рабочая точка. Пропускная способность дополнительно оптимизирует допустимое распределение входов.

Канонические примеры:

$$C_{\mathrm{BSC}}=1-h_2(\varepsilon),$$ $$C_{\mathrm{BEC}}=1-\varepsilon,$$ $$C_{\mathrm{AWGN}} = \frac12\log_2\left(1+\frac{P}{\sigma^2}\right).$$

Надёжная передача асимптотически возможна при скорости $R<C$ и невозможна с исчезающей ошибкой при $R>C$.

Для стандартной асимптотической задачи сжатия и передачи без памяти, при $\kappa$ использованиях канала на символ источника, теорема разделения даёт достижимость во внутренней области

$$R(D)<\kappa C.$$

Граница равенства требует отдельного анализа: строгое неравенство является достаточным условием, а не универсально необходимым.

Контекстное окно, механизм внимания (attention) или скрытое состояние сами по себе не являются пропускной способностью: сначала нужно определить сообщения, входные ограничения, шум, единицу использования и критерий ошибки.

---

5. Максимум энтропии (MaxEnt), экспоненциальные семейства и экспоненциальный наклон — M8

Относительный максимум энтропии

При базовом распределении $m$ и линейных ограничениях на средние ищется информационная проекция:

$$q^* = \arg\min_{q\in\mathcal C} D_{\mathrm{KL}}(q\|m).$$

Для внутреннего решения при условиях §8.2 получаем экспоненциальную форму; на границе может потребоваться предел параметров:

$$\boxed{ q_\lambda(x) = \frac{m(x)e^{\lambda^\top f(x)}}{Z(\lambda)} }.$$

Экспоненциальный наклон — общий механизм: базовая масса перераспределяется в пользу состояний с высокой оценкой, а нормировочная константа оплачивает превращение весов в распределение.

Экспоненциальное семейство

$$p_\eta(x) = h(x) \exp\left( \eta^\top T(x)-A(\eta) \right).$$

Для регулярного семейства:

$$\nabla A(\eta)=\mathbb E_\eta[T(X)],$$ $$\nabla^2A(\eta) = \operatorname{Cov}_\eta(T(X)).$$

Градиент лог-нормировки даёт средние достаточных статистик, а гессиан — их ковариацию и информацию Фишера в натуральных координатах.

Softmax как точное решение вариационной задачи

$$\boxed{ \operatorname{softmax}(z/\tau) = \arg\max_{q\in\Delta} \left\{ q^\top z+\tau H(q) \right\} }.$$

При энтропии в натах точный разрыв равен:

$$\max_{u\in\Delta} \{u^\top z+\tau H(u)\} - \{q^\top z+\tau H(q)\} = \tau D_{\mathrm{KL}}(q\|q^*).$$

Энергетическая модель

$$q_\theta(x) = \frac{e^{-E_\theta(x)}}{Z_\theta}.$$

Градиент отрицательного логарифмического правдоподобия:

$$\nabla_\theta[-\log q_\theta(x)] = \nabla_\theta E_\theta(x) - \mathbb E_{q_\theta} [\nabla_\theta E_\theta(X)].$$

Положительная фаза понижает энергию данных, отрицательная поднимает энергию типичных выборок модели.

KL-регуляризованная политика

$$\max_\pi \left\{ \mathbb E_\pi[r] - \beta D_{\mathrm{KL}}(\pi\|\pi_{\mathrm{ref}}) \right\}$$

имеет оптимум Гиббса:

$$\boxed{ \pi^*(y\mid x) = \frac{ \pi_{\mathrm{ref}}(y\mid x)e^{r(x,y)/\beta} }{Z(x)} }.$$

KL задаёт цену отклонения от базовой политики, но не подтверждает корректность самой награды.

Для экспоненциальной траектории $\pi_\alpha\propto\pi_0e^{\alpha r_{\mathrm{proxy}}}$:

$$\frac{d}{d\alpha} \mathbb E_{\pi_\alpha}[g] = \operatorname{Cov}_{\pi_\alpha} (g,r_{\mathrm{proxy}}).$$

Прокси-награда растёт, потому что её производная равна дисперсии. Истинное качество растёт только пока его ковариация с прокси положительна.

---

6. Полезное забывание: скорость–искажение, информационное бутылочное горлышко и VAE — M9

Скорость–искажение

$$\boxed{ R(D) = \min_{P_{\widehat X\mid X}: \mathbb E[d(X,\widehat X)]\le D} I(X;\widehat X) }.$$

Функция $R(D)$ отвечает: сколько информации необходимо сохранить, чтобы среднее искажение не превысило $D$? Ответ зависит от выбранной функции искажения; «лишняя информация» не существует без задачи и цены ошибки.

Информационное бутылочное горлышко (Information Bottleneck, IB)

$$\mathcal L_{\mathrm{IB}} = I(X;T)-\beta I(T;Y).$$

При марковской структуре $Y-X-T$:

$$I(X;Y)-I(T;Y) = \mathbb E_{X,T} D_{\mathrm{KL}} \left( P(Y\mid X)\|P(Y\mid T) \right).$$

Представление хорошо сжато относительно задачи, если оно объединяет входы, почти не меняя предсказание релевантной переменной $Y$.

Вариационный IB (VIB) и VAE

В вариационном информационном бутылочном горлышке (VIB) KL к выбранному априорному распределению даёт верхнюю границу на скорость:

$$\mathbb E_X D_{\mathrm{KL}} \bigl(q_\phi(T\mid X)\|r(T)\bigr) = I(X;T) + D_{\mathrm{KL}} \bigl(q_\phi(T)\|r(T)\bigr).$$

Для VAE:

$$-\operatorname{ELBO}(x) = \underbrace{ \mathbb E_{q_\phi(z\mid x)}[-\log p_\theta(x\mid z)] }_{\text{искажение}} + \underbrace{ D_{\mathrm{KL}} \bigl(q_\phi(z\mid x)\|p(z)\bigr) }_{\text{вариационная скорость}}.$$

Стандартный VAE является системой скорость–искажение для моделирования $X$, но не тождествен IB с внешней целевой переменной $Y$.

I–MMSE

Для гауссовского канала

$$Y_\gamma=\sqrt\gamma X+N, \qquad N\sim\mathcal N(0,1),$$

при $N\perp X$ и $\mathbb E[X^2]<\infty$ взаимная информация в натах удовлетворяет:

$$\boxed{ \frac{d}{d\gamma}I(X;Y_\gamma) = \frac12\operatorname{mmse}(\gamma) }.$$

Скорость накопления информации при росте отношения сигнал/шум (SNR) равна половине ошибки оптимального оценивания. Это важный мост к удалению шума и диффузионным моделям, но не готовый выбор архитектуры или расписания шума.

---

7. Индивидуальные описания и MDL — M10

Колмогоровская сложность отдельной строки:

$$K_U(x) = \min_{p:\,U(p)=x}|p|.$$

Она зависит от универсальной машины лишь на аддитивную константу, но в общем случае невычислима.

Большинство строк длины $n$ несжимаемы:

$$\Pr\{K(X)<n-c\}<2^{-c}$$

для равномерной строки $X\in\{0,1\}^n$.

Для вычислимого распределения $P$ шенноновская и алгоритмическая картины встречаются в среднем:

$$H_2(P) \le \mathbb E_P[K(X)] \le H_2(P)+K(P)+O(1).$$

Принцип минимальной длины описания:

$$L(h,D)=L(h)+L(D\mid h).$$

Модель должна оплатить и собственную сложность, и остаток данных, который она не объяснила. Это не разрешение измерять смысл файла числом бит: краткость описания, вычислительная стоимость и семантическая ценность остаются разными объектами.

---

8. Сравнение неявных распределений — M11

Для выпуклой $f$ с $f(1)=0$ и $P\ll Q$ определение $f$-дивергенции имеет вид:

$$D_f(P\|Q) = \mathbb E_Q \left[ f\left(\frac{p(X)}{q(X)}\right) \right].$$

Она включает KL, полную вариацию, $\chi^2$ Пирсона, квадрат расстояния Хеллингера и дивергенцию Йенсена—Шеннона при соответствующем выборе выпуклой $f$. При отсутствии абсолютной непрерывности используется расширение с вкладом сингулярной части (§11.2); одно записанное ожидание по $Q$ этот вклад не учитывает.

Классификатор как оцениватель отношения плотностей

Если примеры из $P$ имеют априорную вероятность $\pi$, то оптимальный дискриминатор удовлетворяет:

$$\operatorname{logit}D^*(x) = \log\frac{p(x)}{q(x)} + \log\frac{\pi}{1-\pi}.$$

Хорошая классификация источника ещё не гарантирует хорошо откалиброванную численную оценку отношения $p/q$.

Вариационная форма

$$D_f(P\|Q) = \sup_T \left\{ \mathbb E_P[T] - \mathbb E_Q[f^*(T)] \right\}$$

при подходящих условиях и достаточно богатом классе функций. На практике нужно различать точный супремум, лучший критик в ограниченном классе и результат конечновыборочного обучения.

Для исходной минимаксной игры GAN при оптимальном дискриминаторе:

$$\max_DV(D,Q) = -\log4+2D_{\mathrm{JS}}(P_{\mathrm{data}},Q).$$

Это тождество на уровне распределений, а не описание каждого отдельного шага реального обучения GAN.

Когда носители распределений разнесены, KL и дивергенция Йенсена—Шеннона могут давать слабую геометрию оптимизации. Тогда полезны интегральные вероятностные метрики: расстояние Вассерштейна использует стоимость переноса массы, а максимальное среднее расхождение (MMD) — различимость средних вложений в воспроизводящем ядровом гильбертовом пространстве (RKHS).

---

9. Адаптивность и обобщение — M12

PAC-Bayes с бинарной KL

Для потерь $\ell\in[0,1]$, i.i.d. сертифицирующей выборки размера $n\ge2$ и априорного распределения $P$, независимого от этой выборки, с вероятностью не меньше $1-\delta$ одновременно для всех апостериорных $Q$:

$$\boxed{ \operatorname{kl} \bigl(\widehat L_S(Q)\|L(Q)\bigr) \le \frac{ D_{\mathrm{KL}}(Q\|P) + \ln\dfrac{2\sqrt n}{\delta} }{n} }.$$

Граница относится к предиктору Гиббса $W\sim Q$, а не автоматически к сети со средними весами.

Обобщённое распределение Гиббса минимизирует эмпирический риск с KL-ценой:

$$Q_\lambda(dw) \propto P(dw)e^{-\lambda n\widehat L_S(w)}.$$

Граница через взаимную информацию

Если потери субгауссовские с параметром $\sigma^2$, то

$$\left| \mathbb E[L(W)-\widehat L_S(W)] \right| \le \sqrt{ \frac{2\sigma^2I(W;S)}{n} }.$$

Это граница на ожидаемый разрыв по случайной выборке и случайности алгоритма, а не высоковероятностный сертификат конкретного запуска.

PAC-Bayes и взаимная информация связаны точным средним разложением:

$$\boxed{ \mathbb E_S D_{\mathrm{KL}}(Q_S\|P) = I(W;S) + D_{\mathrm{KL}}(P_W\|P) }.$$

Взаимная информация измеряет зависимость результата обучения от выборки. Дополнительный член измеряет несовпадение выбранного априорного распределения с маргинальным распределением результатов алгоритма.

---

10. Рассуждение и вычисления во время ответа — M13

Пусть внутренний рабочий черновик строится как

$$C=G_\theta(X,U), \qquad U\perp Y^*\mid X.$$

Тогда

$$\boxed{I(Y^*;C\mid X)=0}.$$

Внутренне сгенерированная цепочка не приносит идеальному наблюдателю нового факта о правильном ответе сверх полного входа. Она может быть полезна как последовательное вычисление, рабочая память или поиск.

Если появляется внешнее наблюдение $O$, то

$$I(Y^*;X,O) = I(Y^*;X)+I(Y^*;O\mid X),$$

и последний член может быть положительным.

Для $N$ независимых кандидатов с вероятностью успеха $p$ идеальный верификатор получает:

$$P_{\mathrm{oracle}}(N)=1-(1-p)^N.$$

Реальный результат зависит и от покрытия генератора, и от качества выбора. Более широкий поиск способен одновременно находить больше правильных решений и давать больше возможностей эксплуатировать ошибки верификатора.

Для произвольных невложенных состояний:

$$H(Y\mid S_{j-1})-H(Y\mid S_j) = I(Y;S_j\mid S_{j-1}) - I(Y;S_{j-1}\mid S_j).$$

Улучшение состояния — баланс новой релевантной информации и информации, потерянной при замене предыдущего состояния.

---

11. Компьютерное зрение: четыре разных бюджета — M14

Обучаемое сжатие изображений

Типичная цель обучаемого кодека:

$$\mathcal L = R+\lambda D,$$

где $R$ — ожидаемая длина потока для квантованных латентов и служебной информации, а $D$ — явно выбранное искажение.

Для гипераприорного распределения полный счёт имеет вид:

$$R = \mathbb E[-\log_2p_\phi(\widehat Z)] + \mathbb E[-\log_2p_\psi(\widehat Y\mid\widehat Z)].$$

Служебный латент полезен только тогда, когда экономия на основном коде превышает цену его собственной передачи.

Удаление шума и градиент лог-плотности

Для

$$X_t=\alpha_tX_0+\sigma_t\varepsilon$$

с $\varepsilon\sim\mathcal N(0,I)$, $\varepsilon\perp X_0$, $\sigma_t>0$ и $\mathbb E\|X_0\|^2<\infty$ оптимальный по среднеквадратичной ошибке восстановитель равен условному среднему:

$$f^*(x_t)=\mathbb E[X_0\mid X_t=x_t].$$

Скор-функция, то есть градиент лог-плотности зашумлённого распределения:

$$\nabla_{x_t}\log p_t(x_t) = \frac{ \alpha_t\mathbb E[X_0\mid x_t]-x_t }{\sigma_t^2}.$$

Это точный мост между удалением шума и градиентом лог-плотности, но не полный вывод архитектуры диффузионной модели.

Не смешивать четыре бюджета

• кодек данных измеряется реальными битами или бит/пиксель;
• представление оценивается по информации, полезной выбранной задаче;
• зашумлённое наблюдение ограничивает точность оценивания;
• модель имеет собственные расходы памяти, разрядности, пропускной способности и задержки.

---

12. Информационная геометрия — M15

Информация Фишера как локальная форма KL

Для гладкого семейства $p_\theta$:

$$D_{\mathrm{KL}} \bigl( p_\theta\|p_{\theta+d\theta} \bigr) = \frac12d\theta^\top G(\theta)d\theta +o(\|d\theta\|^2),$$

где

$$G(\theta) = \mathbb E_{p_\theta} \left[ \nabla_\theta\log p_\theta(X) \nabla_\theta\log p_\theta(X)^\top \right].$$

Информация Фишера измеряет локальную статистическую различимость, а не глобальное симметричное расстояние KL.

Естественный градиент

Естественный градиент, соответствующий локальному KL-бюджету, имеет вид:

$$\widetilde\nabla_\theta L = G(\theta)^{-1}\nabla_\theta L.$$

Для спуска используется его отрицание. Здесь $G$ положительно определена. В регулярных координатах векторное поле преобразуется инвариантно, а конечный шаг Эйлера — лишь с точностью первого порядка. При вырожденной $G$ нужна работа на идентифицируемом пространстве: $G^\dagger\nabla L$ выбирает зависящее от координат представление направления, хотя при совместимости градиента движение распределения может совпадать. Демпфирование и приближённая Fisher также зависят от реализации.

Две геометрии

Геометрия Фишера—Рао спрашивает, насколько различимы соседние распределения. Геометрия Вассерштейна спрашивает, сколько стоит перенести массу в пространстве наблюдений:

$$W_2^2(P,Q) = \inf_{\gamma\in\Pi(P,Q)} \mathbb E_{(X,Y)\sim\gamma}\|X-Y\|^2.$$

Ни одна геометрия не является универсально правильной. Сначала нужно выбрать объект: распределение предсказаний, политика, плотность на изображениях или физический поток массы.

Для экспоненциального семейства:

$$G(\eta)=\nabla^2A(\eta),$$

а KL становится дивергенцией Брэгмана лог-нормировки:

$$D_{\mathrm{KL}}(p_\eta\|p_\xi) = A(\xi)-A(\eta) - \nabla A(\eta)^\top(\xi-\eta).$$

---

13. Как быстро выбрать нужный объект

---

14. Самые частые слишком сильные выводы

---

15. Семь механизмов, которые связывают весь курс

1. Логарифм превращает произведение вероятностей в сумму цен. Отсюда неожиданность, отрицательное логарифмическое правдоподобие (NLL), длина кода и последовательная факторизация.
2. KL выделяет цену несовпадения. Она появляется в кросс-энтропии, вариационном выводе, максимуме энтропии (MaxEnt), обучении по человеческой обратной связи (RLHF), PAC-Bayes и информационной геометрии — но каждый раз между разными объектами.
3. Йенсен контролирует порядок усреднения и нелинейности. Из него вырастают ансамблевые гарантии, ELBO, неравенство логарифмической суммы (log-sum) и многие вариационные границы.
4. Взаимная информация измеряет ценность наблюдения для предсказания. Условная взаимная информация показывает добавочную ценность, неравенство обработки данных — предел обработки, а InfoNCE — одну обучаемую нижнюю границу.
5. Кодирование придаёт вероятностям операционный смысл. Хорошая вероятностная модель становится компрессором только вместе с энтропийным кодером и согласованным протоколом.
6. Экспоненциальный наклон — универсальная форма ограниченного обновления. Он объединяет максимум энтропии (MaxEnt), экспоненциальные семейства, softmax и политики с KL-регуляризацией.
7. Информация не заменяет задачу, вычисление и семантику. Формула становится полезной только после определения переменных, критерия качества, доступных данных и ресурсов системы.

Если сохранить эту карту, отдельные формулы перестают выглядеть коллекцией трюков. Они становятся разными ответами на один общий вопрос:

Как измерить, передать, сохранить, сравнить или перераспределить неопределённость при явно заданных ограничениях?

Эта памятка не вводит новых результатов. Первоисточники и подробные условия находятся в списках литературы модулей 1–15 рядом с соответствующими темами.