Модуль 3. Кросс-энтропия и KL-дивергенция

Как читать этот модуль. Основной маршрут — §§3.1–3.7. Он начинается с логарифмической функции потерь, затем разделяет неопределённость данных и ошибку модели, переносит это разложение в классификацию и языковое моделирование и заканчивается градиентом по логитам и перплексией. §3.8 — математическое углубление о направлении KL при ограниченном модельном семействе. §3.9 — карта применений; её можно читать выборочно и возвращаться к ней по мере знакомства с вариационным выводом, дистилляцией и RLHF.

3.1. Модель отвечает распределением, мир — одним исходом

Вероятностная модель почти никогда не отвечает одним классом. Она выдаёт распределение. argmax оставляет от него только победителя — и тем самым выбрасывает большую часть информации.

Представьте два классификатора для трёх классов:

$$q_A=(0.55,0.40,0.05), \qquad q_B=(0.95,0.04,0.01).$$

Оба выбирают первый класс. Если он действительно наблюдался, модель $B$ получает гораздо лучший логарифмический счёт:

$$-\ln 0.55\approx0.598, \qquad -\ln 0.95\approx0.051.$$

Но если правильным оказался второй класс, картина меняется:

$$-\ln 0.40\approx0.916, \qquad -\ln 0.04\approx3.219.$$

Уверенность полезна, когда она направлена в правильную сторону, и дорога, когда модель уверенно ошибается. Именно это измеряет логарифмическая потеря (log-loss): для реализовавшегося исхода $y$

$$\ell(q,y)=-\log q(y).$$

Логарифм здесь делает две вещи одновременно. Он превращает произведение вероятностей последовательности в сумму токенных потерь и резко штрафует модель, если та объявила наблюдавшееся событие почти невозможным.

Теперь введём две роли, которые будут проходить через весь модуль:

• $P$ — распределение, порождающее данные;
• $Q_\theta$ — вероятностная модель с параметрами $\theta$.

В классификации это условные распределения

$p(y\mid x),\qquad q_\theta(y\mid x),$

а в авторегрессионной языковой модели —

$p(x_t\mid x_{<t}),\qquad q_\theta(x_t\mid x_{<t}).$

Мы не получаем $P$ в виде готовой таблицы. Мы видим отдельные исходы из $P$ и каждый раз спрашиваем: какую вероятность модель дала тому, что произошло? Усреднение этих счетов и приводит к кросс-энтропии.

В Модуле 2 энтропия измеряла неопределённость одного распределения. Теперь появятся два распределения, и вопрос станет инженерным: какая часть средней потери неизбежна из-за самих данных, а какая возникла потому, что модель не совпала с ними?

Если не оговорено иное, алфавит в основном маршруте конечен. Основание логарифма обозначаем через $b$: при $b=2$ получаем биты, при $b=e$ — наты. В библиотеках глубокого обучения обычно используется натуральный логарифм, поэтому обучающая потеря чаще измеряется в натах.

Историческая линия здесь состоит из двух шагов. Шеннон связал $-\log p$ с информационной длиной сообщения; Куллбэк и Лейблер формализовали направленный разрыв между двумя распределениями. Современная кросс-энтропийная функция потерь соединяет эти две идеи.

3.2. Кросс-энтропия: средний счёт по вероятностям модели

Для распределений $P=(p(x))$ и $Q=(q(x))$ на одном алфавите кросс-энтропия определяется как

$$\boxed{ H_b(P,Q) =\mathbb E_{X\sim P}[-\log_b q(X)] =-\sum_x p(x)\log_b q(x) }.$$

Формулу удобно читать по ролям:

• первый аргумент $P$ говорит, откуда приходят события и по чему усредняем;
• второй аргумент $Q$ говорит, чьи вероятности стоят внутри логарифма.

Поэтому кросс-энтропия направлена:

$H(P,Q)\ne H(Q,P)$

в общем случае. Перестановка аргументов меняет не запись одной и той же ошибки, а сам эксперимент: меняются источник событий и модель, которой мы выставляем счёт.

От отдельной потери к ожидаемой

Если $x_1,\ldots,x_N$ — наблюдения из $P$, то средняя выборочная потеря

$$\widehat L_b(Q) =-\frac1N\sum_{i=1}^N\log_b q(x_i)$$

оценивает $H_b(P,Q)$. При стандартных условиях закон больших чисел превращает выборочное среднее в ожидаемое. Именно поэтому цикл обучения (training loop) может работать с отдельными примерами, хотя формальное утверждение о качестве модели записано на уровне распределения.

Для условного прогноза — классификации, регрессии с вероятностным выходом или предсказания следующего токена — естественная величина имеет вид

$$H_P(Y\mid C;Q) :=\mathbb E_{(C,Y)\sim P}[-\log q(Y\mid C)].$$

Точка с запятой отделяет распределение данных $P$ от оцениваемого предиктора $Q$. Ниже мы обычно будем говорить просто «условная кросс-энтропия».

Одна метка — одно наблюдение, а не весь условный закон

В обучении с учителем целевую метку $y$ часто записывают one-hot-вектором $e_y$. Тогда потеря одного примера равна

$$-\sum_{k=1}^K(e_y)_k\log q_k=-\log q_y.$$

Это удобная запись фактически полученного исхода. Она не превращает истинное $P(Y\mid X=x)$ в вырожденный one-hot закон. Для одного и того же объекта могут существовать неоднозначная разметка, несколько допустимых продолжений, шум или скрытый контекст. Набор данных показывает по одному исходу за раз; распределение проявляется только через повторение и структуру выборки.

Когда модель объявляет возможное невозможным

На границе нужны два соглашения. Нулевой по $P$ исход не вносит вклад:

$0\log\frac{0}{q}:=0.$

Но если $p(x)>0$, а $q(x)=0$, то

$-p(x)\log q(x)=+\infty.$

Модель назначила нулевую вероятность событию, которое иногда происходит, поэтому средний логарифмический счёт становится бесконечным. Условие конечности записывают как $P\ll Q$: носитель $P$ должен содержаться в носителе $Q$.

В нейросетях softmax при конечных логитах формально даёт положительные вероятности всем классам. Численно, однако, слишком малые значения могут округляться до нуля, поэтому кросс-энтропию вычисляют через устойчивую форму log_softmax, а не через отдельные операции softmax и log.

3.3. KL-дивергенция: часть потери, за которую отвечает модель

Энтропия источника равна

$H_b(P)=-\sum_x p(x)\log_b p(x).$

Добавим и вычтем $\log_b p(x)$ внутри кросс-энтропии:

$$\begin{aligned} H_b(P,Q) &=-\sum_x p(x)\log_b q(x)\\ &=-\sum_x p(x)\log_b p(x) +\sum_x p(x)\log_b\frac{p(x)}{q(x)}. \end{aligned}$$

Второе слагаемое называется KL-дивергенцией, или относительной энтропией:

$$D_{\mathrm{KL},b}(P\|Q) :=\sum_x p(x)\log_b\frac{p(x)}{q(x)}.$$

Получаем центральное тождество модуля:

$$\boxed{ H_b(P,Q)=H_b(P)+D_{\mathrm{KL},b}(P\|Q) }.$$

Это разложение стоит прочитать словами.

• $H(P)$ — неопределённость, которая остаётся даже у идеального предиктора, знающего $P$;
• $D_{\mathrm{KL}}(P\|Q)$ — дополнительный счёт за несовпадение модели $Q$ с распределением данных $P$.

Поэтому полезная короткая формулировка такова:

KL — средняя доплата за чужую вероятностную модель.

KL не является метрикой: она несимметрична и не обязана удовлетворять неравенству треугольника. Для оптимизации это не дефект. Нам как раз нужна направленная величина: данные приходят из $P$, а счёт выставляется вероятностями $Q$.

Почему доплата неотрицательна

Если существует $x$ с $p(x)>0$ и $q(x)=0$, KL равна $+\infty$. В конечном случае рассмотрим положительный носитель

$\mathcal S=\{x:p(x)>0\}$

и используем неравенство $\ln u\le u-1$:

$$\begin{aligned} -D_{\mathrm{KL}}(P\|Q) &=\sum_{x\in\mathcal S}p(x) \ln\frac{q(x)}{p(x)}\\ &\le\sum_{x\in\mathcal S}p(x) \left(\frac{q(x)}{p(x)}-1\right)\\ &=\sum_{x\in\mathcal S}q(x)-1\\ &\le0. \end{aligned}$$

Следовательно,

$D_{\mathrm{KL}}(P\|Q)\ge0.$

Равенство требует одновременно $q(x)=p(x)$ на $\mathcal S$ и отсутствия массы $Q$ вне $\mathcal S$. Значит,

$$D_{\mathrm{KL}}(P\|Q)=0 \quad\Longleftrightarrow\quad P=Q.$$

Это неравенство Гиббса. В Модуле 4 мы увидим, как тот же результат получается из неравенства Йенсена и логарифмического неравенства сумм. Здесь важен механизм: средняя логарифмическая потеря распадается на неизбежную часть и неотрицательную ошибку модели.

Логарифмическая потеря просит сообщить всё распределение

Из разложения немедленно следует

$$\mathbb E_{Y\sim P}[-\log q(Y)] \ge \mathbb E_{Y\sim P}[-\log p(Y)],$$

и минимум единственно достигается при $Q=P$. Поэтому логарифмическая потеря является строго правильным правилом оценки (strictly proper scoring rule): в ожидании выгоднее всего сообщать истинное распределение, а не только правильный наиболее вероятный класс.

Это сильнее гарантии для argmax. Два предиктора могут иметь одинаковую точность (accuracy), но разную кросс-энтропию, потому что один лучше распределяет вероятность между правильным исходом и альтернативами. Именно поэтому логарифмическая потеря подходит для задач, где важны вероятности, калибровка и последующее принятие решений под разными стоимостями ошибок.

Что именно делает максимальное правдоподобие

Для модели $q_\theta$ максимизация правдоподобия равна минимизации эмпирического отрицательного логарифмического правдоподобия (negative log-likelihood, NLL). На уровне ожидаемой целевой функции это

$$\min_\theta D_{\mathrm{KL}}(P\|Q_\theta),$$

поскольку $H(P)$ не зависит от $\theta$.

Если модельное семейство содержит $P$ и выполняются обычные статистические условия, оптимум целевой функции на уровне распределения находится в истинном распределении. Если семейство ограничено, модель выбирает лучшую доступную KL-проекцию:

$$\theta^*\in \arg\min_\theta D_{\mathrm{KL}}(P\|Q_\theta).$$

Это не ослабляет смысл MLE, а точно его формулирует. Целевая функция говорит, какое приближение считается лучшим внутри выбранного семейства. Конечность данных, качество выборки и оптимизатор определяют, насколько конкретный запуск приблизится к этому теоретическому решению.

3.4. Чужой код: как KL превращается в лишние биты

В битах величина

$$\ell_Q(x)=-\log_2 q(x)$$

служит идеальной информационной длиной исхода $x$ под моделью $Q$. Если реальные символы приходят из $P$, средний счёт такого кода равен

$$\mathbb E_P[\ell_Q(X)]=H_2(P,Q).$$

Идеальный код, согласованный с самим источником, имел бы среднюю информационную длину $H_2(P)$. Разница составляет

$$H_2(P,Q)-H_2(P) =D_{\mathrm{KL},2}(P\|Q).$$

Так возникает операционное чтение KL: сколько бит в среднем мы переплачиваем, кодируя данные из $P$ вероятностями модели $Q$.

У реального двоичного префиксного кода длины должны быть целыми. Но и здесь связь остаётся точной с небольшой накладной платой. Для шенноновского кода, построенного под $Q$,

$$L_Q(x)=\left\lceil-\log_2 q(x)\right\rceil,$$

и потому

$$H_2(P,Q) \le \mathbb E_P[L_Q(X)] < H_2(P,Q)+1.$$

Для блоков длины $n$ надбавка меньше одного бита на весь блок, то есть меньше $1/n$ бита на символ. Арифметическое и интервальное кодирование реализуют эту идею практически. Поэтому «KL — лишние биты» является не только образом, но и асимптотическим инженерным утверждением.

Диадический пример: одинаковая энтропия, разная цена ошибки

Пусть

$$P=\left(\frac12,\frac14,\frac18,\frac18\right), \qquad Q=\left(\frac18,\frac12,\frac14,\frac18\right).$$

Оба распределения диадические, поэтому идеальные длины целые:

Энтропии совпадают:

$H_2(P)=H_2(Q)=1.75\ \text{бит/символ}.$

Но код под $Q$ особенно дорог для самого частого события $x_1$, поэтому

$$H_2(P,Q)=2.375, \qquad D_{\mathrm{KL},2}(P\|Q)=0.625\ \text{бита}.$$

В обратном направлении

$$H_2(Q,P)=2.25, \qquad D_{\mathrm{KL},2}(Q\|P)=0.5\ \text{бита}.$$

Одинаковая энтропия говорит, что два источника имеют одинаковую среднюю неопределённость. Она не говорит, что ошибки взаимной подстановки будут одинаковыми. Направление определяет, какие события встречаются часто и какие цены назначил им чужой код.

3.5. Одна формула для классификации и языковой модели

Пусть $C$ — контекст, а $Y$ — метка или следующий токен. Ожидаемая условная логарифмическая потеря модели равна

$$\mathcal L(\theta) =\mathbb E_{(C,Y)\sim P} [-\log q_\theta(Y\mid C)].$$

Применим разложение предыдущего раздела отдельно при каждом контексте, а затем усредним по $C$:

$$\boxed{ \mathcal L(\theta) =H_P(Y\mid C) +\mathbb E_{C\sim P} D_{\mathrm{KL}} \!\left( P(\cdot\mid C) \|Q_\theta(\cdot\mid C) \right) }.$$

Теперь различие между «неопределённостью задачи» и «ошибкой модели» видно особенно ясно.

• $H_P(Y\mid C)$ — неоднозначность следующего исхода после доступного контекста;
• условная KL — средний разрыв между истинным и модельным распределениями продолжений.

Если один и тот же контекст допускает несколько естественных ответов, даже идеальная модель не обязана иметь нулевую потерю на каждом примере. Она должна правильно распределить вероятность между допустимыми продолжениями.

Авторегрессионная последовательность

Для последовательности длины $T$

$$p(x_{1:T})=\prod_{t=1}^T p(x_t\mid x_{<t}), \qquad q_\theta(x_{1:T})=\prod_{t=1}^T q_\theta(x_t\mid x_{<t}).$$

Логарифм превращает произведение в сумму:

$$-\log q_\theta(x_{1:T}) =\sum_{t=1}^T- \log q_\theta(x_t\mid x_{<t}).$$

После усреднения получаем

$$\mathbb E_P[-\log q_\theta(X_{1:T})] =H_P(X_{1:T}) +D_{\mathrm{KL}}(P_{1:T}\|Q_{\theta,1:T}).$$

А цепное правило для KL раскладывает общий разрыв по шагам:

$$\boxed{ D_{\mathrm{KL}}(P_{1:T}\|Q_{\theta,1:T}) = \sum_{t=1}^T \mathbb E_{X_{<t}\sim P} D_{\mathrm{KL}} \!\left( P(\cdot\mid X_{<t}) \|Q_\theta(\cdot\mid X_{<t}) \right) }.$$

Вот точная информационно-теоретическая запись стандартного обучения языковой модели: каждый токен выставляет модели логарифмический счёт, а общий NLL складывает счета вдоль последовательности.

Teacher forcing: модель проверяют там, где живут данные

При teacher forcing контекст $X_{<t}$ берётся из данных. Это делает целевую функцию вычислимой и даёт прямую оценку условных вероятностей модели на реальных префиксах. Именно по этим префиксам взвешена KL в формуле выше.

Во время свободной генерации контексты постепенно создаёт сама модель. Ранняя ошибка меняет следующий вход, затем следующий, и распределение посещаемых префиксов может уйти от $P$ к распределению, индуцированному $Q_\theta$. Поэтому NLL при teacher forcing точно измеряет качество условной модели на распределении данных, но не заменяет отдельную оценку поведения на собственных траекториях генерации.

Это полезная граница, а не приговор к кросс-энтропии. Она подсказывает устройство оценки: NLL на отложенной выборке проверяет вероятностное моделирование данных; генеративные тесты, интерактивные сценарии и проверки устойчивости оценивают поведение после накопления собственных решений.

Что обещает целевая функция следующего токена

На уровне распределения целевая функция поощряет совпадение

$$Q_\theta(\cdot\mid C) \approx P(\cdot\mid C)$$

для контекстов из данных. Это сильное и точное утверждение. Фактическая корректность, полезный отказ от ответа и соответствие предпочтениям появляются в той мере, в какой они представлены в данных и постановке задачи. Retrieval, инструменты проверки, дообучение по предпочтениям и специальные оценивания добавляют сигналы, которых в обычном next-token NLL нет.

Поэтому низкий NLL — фундаментальная характеристика вероятностной языковой модели, но не единственная метрика готовой системы.

3.6. Почему CrossEntropyLoss так удобно оптимизировать

Пусть сеть выдаёт логиты $z\in\mathbb R^K$, а вероятности получаются через softmax:

$$q_j =\operatorname{softmax}(z)_j =\frac{e^{z_j}}{\sum_k e^{z_k}}.$$

Для целевого распределения $r=(r_1,\ldots,r_K)$, где $r_j\ge0$ и $\sum_j r_j=1$, кросс-энтропийная потеря равна

$$\begin{aligned} \ell(z;r) &=-\sum_{j=1}^K r_j\log q_j\\ &=\log\sum_{k=1}^Ke^{z_k} -\sum_{j=1}^K r_jz_j. \end{aligned}$$

Эта форма сразу показывает устройство оптимизации: logsumexp учитывает все классы, а второй член поднимает логиты в соответствии с целевым распределением.

Дифференцирование даёт одну из самых полезных формул в глубоком обучении:

$$\boxed{ \frac{\partial\ell}{\partial z_j}=q_j-r_j }.$$

Для one-hot-цели $r=e_y$

$$\nabla_z\ell=q-e_y.$$

Модель уменьшает логиты классов, которым дала больше вероятности, чем требуется целью, и увеличивает логит целевого класса. Величина поправки уже масштабирована текущей вероятностью — отдельный ручной коэффициент для softmax не нужен.

Матрица Гессе равна

$$\nabla_z^2\ell =\operatorname{diag}(q)-qq^\top.$$

Для любого вектора $v$

$$\begin{aligned} v^\top\nabla_z^2\ell\,v &=\sum_j q_jv_j^2 -\left(\sum_j q_jv_j\right)^2\\ &=\operatorname{Var}_{J\sim q}(v_J)\ge0. \end{aligned}$$

Значит, кросс-энтропия выпукла по логитам. Глубокая сеть при этом не становится выпуклой по весам: логиты являются нелинейной функцией параметров многих слоёв.

Численно устойчивая форма

Вычислять softmax, а затем log отдельно не следует: экспоненты больших логитов могут переполниться, а малые вероятности — округлиться к нулю. Используется тождество

$$\log\sum_k e^{z_k} =m+\log\sum_ke^{z_k-m}, \qquad m=\max_kz_k.$$

Поэтому в PyTorch nn.CrossEntropyLoss и F.cross_entropy принимают сырые ненормированные логиты. Для целевых индексов классов слитая операция соответствует log_softmax плюс NLL:

import torch
import torch.nn.functional as F

logits = torch.tensor([[2.0, -1.0, 0.5]], requires_grad=True)
target = torch.tensor([2])

loss_fused = F.cross_entropy(logits, target)
loss_manual = F.nll_loss(F.log_softmax(logits, dim=-1), target)

assert torch.allclose(loss_fused, loss_manual)
loss_fused.backward()

Слитая реализация нужна не только ради скорости: она сохраняет правильную численную шкалу вычисления.

Один API может задавать разные статистические задачи

При сглаживании меток (label smoothing) one-hot-цель заменяется, например, на

$$r=(1-\varepsilon)e_y+\varepsilon u,$$

где $u$ — распределение сглаживания, часто равномерное. Градиент по-прежнему равен $q-r$, но оптимум на уровне распределения теперь соответствует сглаженному условному распределению. Это осознанная регуляризация, а не обычный NLL исходных one-hot-наблюдений.

Веса классов меняют относительную стоимость ошибок. ignore_index, маскирование и режим reduction определяют, какие элементы и с какими коэффициентами входят в среднее. Поэтому имя CrossEntropyLoss ещё не описывает целиком оцениваемый риск: нужно смотреть на цели, веса и нормировку.

Для токенной перплексии обычно нужен несглаженный и невзвешенный средний NLL по тем целевым токенам, которые действительно входят в протокол оценки.

3.7. Перплексия: возврат из логарифмической шкалы

NLL удобен для сложения и оптимизации, но его логарифмическая шкала не всегда интуитивна. Перплексия (perplexity, PPL) возвращает среднюю потерю из логарифмической шкалы в мультипликативную, экспоненцируя её.

Для $N$ наблюдаемых целей

$$\widehat L_b =-\frac1N\sum_{i=1}^N\log_b q_i(y_i),$$

а

$$\boxed{ \operatorname{PPL}=b^{\widehat L_b} }.$$

Если NLL измерен в натах,

$\operatorname{PPL}=e^{\widehat L},$

если в битах,

$\operatorname{PPL}=2^{\widehat L_2}.$

Эквивалентная форма особенно полезна:

$$\operatorname{PPL} = \left( \prod_{i=1}^N\frac1{q_i(y_i)} \right)^{1/N}.$$

То есть PPL — геометрическое среднее обратных вероятностей, назначенных моделью наблюдаемым целям.

Небольшой пример

Пусть на трёх шагах модель назначила фактически наблюдаемым токенам вероятности

$\frac12,\qquad\frac14,\qquad\frac18.$

Средний NLL в битах равен

$$\widehat L_2=\frac{1+2+3}{3}=2,$$

поэтому

$$\operatorname{PPL}=2^2=4.$$

То же самое видно из геометрического среднего:

$$(2\cdot4\cdot8)^{1/3}=4.$$

Фраза «эффективное число равновероятных вариантов» точна, когда модель на каждом шаге действительно равномерна на одинаковом числе исходов. Для общего распределения это полезная шкала, а не буквальный подсчёт кандидатов.

PPL и предиктивная энтропия отвечают на разные вопросы

Предиктивная энтропия модели при контексте $c$

$$H(Q_\theta(\cdot\mid c)) =-\sum_yq_\theta(y\mid c)\log q_\theta(y\mid c)$$

измеряет, насколько распределена сама модель. NLL и PPL смотрят на вероятность реализовавшегося исхода.

Поэтому уверенная модель может иметь очень низкую предиктивную энтропию и огромную PPL, если она уверена не в том ответе. И наоборот, объективно неоднозначный контекст может давать высокую энтропию, но хороший ожидаемый NLL, если модель правильно распределила массу между возможными продолжениями.

На уровне ожидаемого риска разложение из §3.5 даёт нижнюю границу

$$\mathcal L(\theta)\ge H_P(Y\mid C),$$

с равенством для идеального условного предиктора. В ограниченном модельном семействе минимум может быть выше. Конкретная оценка на конечной выборке случайна и иногда оказывается ниже своего ожидания, поэтому одно validation-число или экстраполированную асимптоту нельзя автоматически объявлять «истинной энтропией языка».

Сравнимость перплексии

PPL зависит от того, какие события считаются шагами предсказания. Разные токенизаторы разбивают одну строку на разное число токенов, поэтому их токенные PPL нельзя сравнивать напрямую.

Корректное сравнение требует как минимум:

• одного корпуса и одинаковой предобработки;
• одного токенизатора;
• одинаковой длины и политики контекста;
• одинаковой маски целевых токенов и нормировки.

Биты на байт или символ дают общую физическую единицу и улучшают сопоставимость, хотя состав корпуса и контекстный протокол всё равно остаются частью эксперимента. В Модуле 6 эта связь станет буквальной: вероятностная модель превратится в компрессор, а NLL — в измеримую длину файла.

3.8. Математическое углубление: почему направление KL меняет ответ

Можно пропустить при первом чтении. Для основного маршрута достаточно знать, что MLE минимизирует $D(P\|Q)$, а направление начинает особенно влиять на решение, когда модельное семейство не может точно представить целевое распределение.

Далее удобно перейти от сумм к плотностям:

$$D_{\mathrm{KL}}(P\|Q) =\int p(x)\log\frac{p(x)}{q(x)}\,dx.$$

В этом разделе будем называть

$D_{\mathrm{KL}}(P\|Q)$

прямой KL (forward KL) от цели $P$ к приближению $Q$, а

$D_{\mathrm{KL}}(Q\|P)$

— обратной KL (reverse KL). Термины зависят от того, какое распределение объявлено целью, поэтому важнее всегда смотреть на порядок аргументов.

У двух направлений различается место усреднения:

• прямая KL берёт ожидание по $P$: каждый регион, где находятся данные, получает голос;
• обратная KL берёт ожидание по $Q$: модель платит прежде всего за те регионы, куда сама поместила массу.

Если допустимы все распределения и $P$ представимо точно, оба направления имеют общий минимум $Q=P$. Разница становится видимой при неверной спецификации модельного семейства (model misspecification).

Канонический пример: два пика и один гауссиан

Пусть целевая плотность — симметричная смесь

$$p(x) =\tfrac12\mathcal N(x;-3,1) +\tfrac12\mathcal N(x;3,1),$$

а модель ограничена одним гауссианом

$q_{\mu,\sigma}(x)=\mathcal N(x;\mu,\sigma^2).$

Прямая KL: каждый пик должен быть объяснён

При фиксированном $P$ минимизация $D(P\|Q_{\mu,\sigma})$ эквивалентна минимизации

$$-\mathbb E_P[\log q_{\mu,\sigma}(X)] = \frac12\log(2\pi\sigma^2) + \frac{\mathbb E_P[(X-\mu)^2]}{2\sigma^2}.$$

Оптимальный гауссиан совпадает с $P$ по среднему и дисперсии:

$$\mu^*=\mathbb E_P[X]=0, \qquad (\sigma^*)^2=\operatorname{Var}_P(X)=1+3^2=10.$$

Итак,

$$\mu^*=0, \qquad \sigma^*=\sqrt{10}\approx3.162.$$

Модель накрывает обе моды и неизбежно помещает массу между ними. В этом конкретном семействе возникает поведение, которое обычно называют покрытием мод (mode-covering) или стремлением к среднему (mean-seeking).

Обратная KL: выгодно выбрать один безопасный регион

Для

$$\min_{\mu,\sigma} D_{\mathrm{KL}}(Q_{\mu,\sigma}\|P)$$

замкнутой формулы здесь нет. Численная оптимизация даёт два симметричных глобальных минимума приблизительно

$$\mu^*\approx\pm2.984, \qquad \sigma^*\approx1.023.$$

Каждый из них хорошо описывает одну моду и почти игнорирует вторую. Это каноническое стремление к моде (mode-seeking).

Ландшафт при этом богаче одного лозунга. Существует также более широкий центральный локальный минимум около

$$\mu\approx0, \qquad \sigma\approx2.744,$$

но его значение обратной KL выше. Оптимизатор, инициализация и параметризация влияют на то, какое решение будет найдено.

Если носители распределений имеют жёсткие нули, направленность усиливается до бесконечных штрафов: $D(P\|Q)$ не допускает нулей $Q$ на массе $P$, а $D(Q\|P)$ — массы $Q$ там, где $P=0$. В гауссовском примере оба распределения положительны на всей прямой, поэтому различие возникает и без жёстких нулей — из-за разных весов в ожидании и ограниченности модельного семейства.

Картинку «прямая KL покрывает, обратная выбирает моду» полезно помнить как сильную эвристику. Это не универсальная теорема о каждой архитектуре, каждой дивергенции и каждом запуске оптимизации.

3.9. Карта KL-целевых функций в ML

Справочный раздел. Здесь одна и та же математика появляется в разных ролях. Для каждого примера сначала смотрите, кто стоит в первом аргументе KL, кто — во втором и по каким данным берётся ожидание.

Максимальное правдоподобие и языковое моделирование

Обычный NLL данных минимизирует

$D_{\mathrm{KL}}(P_{\mathrm{data}}\|Q_\theta),$

точнее — среднюю условную KL на контекстах из данных. Это строгий вывод §3.5. Эвристика покрытия мод может помогать думать об ограниченных семействах, но поведение большой LLM дополнительно определяется конечностью данных, архитектурой, декодированием, дообучением (post-training) и распределением эксплуатации.

Вариационный вывод

Для латентной модели стандартное тождество ELBO имеет вид

$$\log p_\theta(x) = \operatorname{ELBO}(x) + D_{\mathrm{KL}} \bigl(q_\phi(z\mid x)\|p_\theta(z\mid x)\bigr).$$

При фиксированной генеративной модели максимизация ELBO по вариационному распределению $q_\phi$ минимизирует обратную KL к апостериорному распределению. Если вариационное семейство слишком бедно, оно может недопредставлять некоторые моды апостериорного распределения.

Коллапс апостериорного распределения (posterior collapse) в VAE — другое явление: часто под ним понимают режим

$q_\phi(z\mid x)\approx p(z),$

в котором латентная переменная почти перестаёт нести информацию об $x$. Недопокрытие мод и коллапс апостериорного распределения могут встречаться в одной системе, но это не два названия одного эффекта.

Дистилляция знаний

Классическая дистилляция с мягкими целями учителя минимизирует

$H(P_T,P_S),$

что при фиксированном учителе эквивалентно

$D_{\mathrm{KL}}(P_T\|P_S).$

Ученик получает не только победивший класс, но и скрытую структуру относительных вероятностей остальных классов — то, что в исходной работе названо dark knowledge учителя.

Для авторегрессионной модели важен ещё один выбор: на чьих префиксах сравниваются распределения. Обучение на фиксированном наборе использует префиксы из данных или генераций учителя. Generalized Knowledge Distillation (GKD) добавляет последовательности, сгенерированные текущей политикой ученика (on-policy), и допускает разные дивергенции. Тем самым отдельно настраиваются два аспекта: распределение контекстов и локальная мера расхождения между учителем и учеником.

KL-регуляризованное обучение по предпочтениям

Идеализированная задача для запроса $x$ записывается как

$$\max_\pi \left\{ \mathbb E_{y\sim\pi(\cdot\mid x)}[r(x,y)] - \beta D_{\mathrm{KL}} \bigl(\pi(\cdot\mid x)\|\pi_{\mathrm{ref}}(\cdot\mid x)\bigr) \right\}.$$

Награда тянет политику к предпочтительным ответам, а KL назначает цену за отклонение от базовой политики. Коэффициент $\beta$ задаёт обменный курс между этими силами. В Модуле 8 мы точно решим эту вариационную задачу и получим экспоненциальный перенаклон базового распределения.

Практический PPO включает целевую функцию градиента политики (policy-gradient objective), ограничение шага (clipping), сэмплирование и приближённый контроль отклонения; его нельзя свести к одному KL-члену. DPO выводится из той же KL-регуляризованной постановки, но оптимизирует парную функцию потерь классификации предпочтений. Поэтому связь DPO с KL находится в исходной модели и выводе, а не в обязательном явном вычислении KL-штрафа на каждом мини-батче.

3.11. Литература и первоисточники

1. C. E. Shannon, «A Mathematical Theory of Communication», Bell System Technical Journal, 1948.
2. S. Kullback, R. A. Leibler, «On Information and Sufficiency», Annals of Mathematical Statistics, 22(1):79–86, 1951.
3. T. M. Cover, J. A. Thomas, «Elements of Information Theory», 2-е изд., Wiley, 2006.
4. T. Gneiting, A. E. Raftery, «Strictly Proper Scoring Rules, Prediction, and Estimation», JASA, 102(477):359–378, 2007.
5. D. M. Blei, A. Kucukelbir, J. D. McAuliffe, «Variational Inference: A Review for Statisticians», JASA, 2017.
6. G. Hinton, O. Vinyals, J. Dean, «Distilling the Knowledge in a Neural Network», 2015.
7. R. Agarwal et al., «On-Policy Distillation of Language Models: Learning from Self-Generated Mistakes», 2023.
8. L. Ouyang et al., «Training Language Models to Follow Instructions with Human Feedback», 2022.
9. R. Rafailov et al., «Direct Preference Optimization: Your Language Model Is Secretly a Reward Model», 2023.
10. J. He et al., «Lagging Inference Networks and Posterior Collapse in Variational Autoencoders», 2019.
11. Документация PyTorch: torch.nn.CrossEntropyLoss и torch.nn.functional.cross_entropy.