Модуль 8. Максимальная энтропия, экспоненциальные модели и KL-регуляризация

Как читать этот модуль. Основной маршрут — §§8.1–8.9. В §§8.1–8.5 мы построим принцип MaxEnt от постановки задачи до условных лог-линейных моделей; §§8.6–8.9 покажут ту же вариационную механику в softmax, энергетических моделях и постобучении LLM. §8.10 — самостоятельное математическое углубление об экспоненциальных семействах, основных распределениях и достаточных статистиках; его можно оставить на второй проход.

8.1. От неполного знания к распределению

До сих пор распределение обычно стояло в условии задачи. Нам давали $P$, и мы вычисляли энтропию; давали $P$ и $Q$, и мы находили KL; задавали канал, и мы исследовали его пропускную способность. Теперь само распределение должно стать ответом.

Представим обычную шестигранную кость. Мы не видели её бросков, но знаем, что среднее значение равно $4.5$. Этого явно недостаточно, чтобы восстановить все шесть вероятностей. Например, оба распределения

$$q_A=(0,0,0,\tfrac12,\tfrac12,0)$$

и

$$q_B=(0,0,\tfrac14,\tfrac14,\tfrac14,\tfrac14)$$

имеют среднее $4.5$. Между ними — бесконечно много других вариантов. Ограничение отсекает часть симплекса, но не выбирает одну точку.

В ML эта ситуация встречается чаще, чем кажется.

• Мы знаем эмпирические средние признаков и хотим получить условное распределение классов.
• Сеть выдала логиты, и нужно превратить систему оценок в вероятности.
• У нас есть базовая политика и функция награды; требуется улучшить поведение, не разрушив всё, чему модель научилась раньше.
• Энергетическая модель умеет назначать состояниям оценки, но ещё должна согласовать их в одно нормированное распределение.

Во всех этих задачах известна часть структуры, а полное вероятностное описание ещё нужно достроить.

Принцип максимальной энтропии (maximum entropy, MaxEnt), сформулированный Эдвином Джейнсом как правило вывода из неполной информации, предлагает простой ответ: среди распределений, удовлетворяющих явно заданным ограничениям, выбрать распределение с наибольшей энтропией.

На конечном множестве состояний:

$$q^* = \arg\max_{q\in\Delta} H(q) \quad\text{при}\quad \mathbb E_q[f_j(X)]=\mu_j.$$

Содержательная часть этого принципа не в лозунге «выбрать самое случайное». Она в более аккуратной дисциплине:

не вводить различия между допустимыми состояниями, для которых в постановке нет основания.

Если нам уже дано базовое распределение $m$, естественный вопрос меняется. Теперь не нужно возвращаться к равномерности; нужно изменить базу ровно настолько, насколько требуют новые ограничения. Получается относительная форма MaxEnt:

$$\boxed{ q^* = \arg\min_{q\in\mathcal C} D_{\mathrm{KL}}(q\|m) },$$

где $\mathcal C$ — множество распределений, совместимых с известными средними, а $m$ — базовое распределение (reference distribution). Если $m$ равномерно на конечном множестве, то

$$D_{\mathrm{KL}}(q\|m) = -H(q)+\log|\mathcal X|,$$

и минимизация KL совпадает с обычным MaxEnt.

Эта относительная запись особенно важна для ML. Базой может быть не абстрактная равномерность, а предобученная языковая модель, априорное распределение, прежняя версия политики или естественная мера на пространстве состояний.

Но прежде чем выводить формулу, нужно честно назвать три моделирующих решения.

1. Пространство состояний. Что считается одним элементарным исходом: число успехов, бинарная конфигурация, класс, токенная последовательность?
2. База. От какого распределения или меры мы считаем отклонение?
3. Ограничения. Какие средние действительно известны и почему именно они считаются существенными?

MaxEnt не угадывает «истинное распределение» за пределами этих решений. Он делает другое: после того как модель задачи задана, убирает произвол из её достройки.

В этом модуле одна и та же конструкция появится несколько раз:

$$\text{база} \quad\xrightarrow{\text{экспоненциальный наклон}}\quad \text{новое распределение}.$$

У MaxEnt наклон задают ограничения на моменты. У softmax — логиты и температура. У энергетической модели — отрицательная энергия. У KL-регуляризованной политики — награда относительно базовой модели. Это не четыре названия одной теоремы, а четыре задачи, в которых оптимум строится одной математической операцией.

8.2. Экспоненциальный наклон и информационная проекция

Рассмотрим конечное пространство $\mathcal X$ и строго положительную базу

$$m(x)>0, \qquad \sum_xm(x)=1.$$

Пусть известны средние функций $f_1, \ldots,f_k$:

$$\mathbb E_q[f_j(X)]=\mu_j, \qquad j=1, \ldots,k.$$

Нужно решить

$$\min_qD_{\mathrm{KL}}(q\|m)$$

при нормировке и этих линейных ограничениях.

Вывод через множители Лагранжа

Лагранжиан можно записать как

$$\begin{aligned} \mathcal L(q,\lambda,\nu) &= \sum_xq(x)\log\frac{q(x)}{m(x)}\\ &\quad- \lambda^\top \left( \sum_xq(x)f(x)-\mu \right) + \nu\left(\sum_xq(x)-1\right). \end{aligned}$$

Для внутреннего решения $q(x)>0$:

$$\frac{\partial\mathcal L}{\partial q(x)} = \log\frac{q(x)}{m(x)}+1-\lambda^\top f(x)+\nu=0.$$

Перенесём члены и прочитаем результат в логарифмической шкале:

$$\log q(x)-\log m(x) = \lambda^\top f(x)-\log Z(\lambda).$$

Ограничения меняют логарифм вероятности линейно. После экспоненцирования получаем

$$\boxed{ q_\lambda(x) = \frac{m(x)\exp\bigl(\lambda^\top f(x)\bigr)} {Z(\lambda)} },$$

где

$$Z(\lambda) = \sum_xm(x)\exp\bigl(\lambda^\top f(x)\bigr)$$

— нормировочная константа (partition function).

Вот и вся механика экспоненциального наклона (exponential tilting). База сохраняет исходную относительную массу состояний, а множитель $e^{\lambda^\top f(x)}$ усиливает или ослабляет её согласно ограничениям. Если $m$ равномерно, остаётся знакомая форма

$$q_\lambda(x)\propto e^{\lambda^\top f(x)}.$$

Знак параметра зависит от языка задачи. В статистике удобно писать положительную оценку $\lambda^\top f(x)$; в физике часто вводят энергию $E(x)$ и получают $q(x)\propto e^{-\beta E(x)}$. Распределение одно и то же — меняется интерпретация функции в экспоненте.

Нормировочная константа как вычислительный объект

Положим

$$A(\lambda)=\log Z(\lambda).$$

Тогда

$$\boxed{ \nabla A(\lambda) = \mathbb E_{q_\lambda}[f(X)] }$$

и

$$\boxed{ \nabla^2A(\lambda) = \operatorname{Cov}_{q_\lambda}(f(X)) \succeq0 }.$$

Эти две строки превращают красивую форму распределения в рабочий алгоритм. Чтобы выполнить ограничения, нужно решить уравнение

$$\nabla A(\lambda)=\mu.$$

Градиент сообщает текущие модельные средние, а гессиан показывает, как они меняются при сдвиге параметров. Поскольку гессиан является ковариационной матрицей, $A$ выпукла. Если признаки линейно избыточны, параметры $\lambda$ могут быть неединственными; после удаления избыточности выпуклость становится строгой в соответствующих направлениях.

Полезно заметить знакомую форму. В softmax $A$ превратится в logsumexp; в экспоненциальном семействе — в логарифм нормировочной константы; в KL-регуляризованной политике — в мягкую ценность базовой политики. Одна и та же функция будет одновременно нормировать распределение и хранить его моменты в производных.

Точный KL-разрыв

Пусть $q^*$ удовлетворяет ограничениям и имеет найденную форму. Для любого другого допустимого $q$:

$$\boxed{ D_{\mathrm{KL}}(q\|m) = D_{\mathrm{KL}}(q\|q^*) + D_{\mathrm{KL}}(q^*\|m) }.$$

Это пифагорово тождество для информационной проекции (I-projection). Его короткое доказательство показывает, почему результат сильнее простого условия стационарности. Из

$$\log\frac{q^*(x)}{m(x)} = \lambda^\top f(x)-\log Z$$

следует

$$\begin{aligned} D_{\mathrm{KL}}(q\|m)-D_{\mathrm{KL}}(q\|q^*) &= \mathbb E_q\left[\log\frac{q^*(X)}{m(X)}\right]\\ &= \lambda^\top\mu-\log Z. \end{aligned}$$

То же выражение получается при $q=q^*$, потому что оба распределения имеют одинаковые средние признаков. Значит, разность равна $D_{\mathrm{KL}}(q^*\|m)$.

Формулу удобно прочитать словами: любой другой способ выполнить те же ограничения отклоняется от базы сильнее ровно на KL до оптимума. MaxEnt-решение не просто одно из допустимых; оно является ближайшей к базе точкой в выбранном направлении KL.

Почему максимум энтропии не является случайным рецептом

Есть и комбинаторная интуиция. Для равномерной базы число последовательностей длины $n$ с эмпирическим распределением $q$ имеет порядок

$$\exp\{nH(q)+o(n)\}.$$

Высокоэнтропийные типы реализуются большим числом микроскопических последовательностей. Для общего i.i.d.-распределения $m$ вероятность увидеть тип $q$ имеет экспоненциальный порядок

$$\exp\{-nD_{\mathrm{KL}}(q\|m)+o(n)\}.$$

После условления на ограничения доминирует тип с минимальным KL к базе. Это не отдельная магия: та же информационная проекция появляется теперь как наиболее вероятная макроскопическая конфигурация длинной выборки.

Условия, которые нужно держать рядом с формулой

Основной результат силён, но не безусловен.

• Ограничения должны быть совместимы.
• Если требуемый вектор $\mu$ лежит на границе выпуклой оболочки значений $f(x)$, оптимум может иметь нули, а некоторые компоненты $\lambda$ — уходить в бесконечность.
• В непрерывном случае нужно выбрать базовую меру и проверить конечность $Z(\lambda)$.
• Ограничения-неравенства требуют условий Каруша—Куна—Таккера.

Эти оговорки не меняют главного механизма. Они лишь говорят, когда внутренняя гладкая формула описывает оптимум напрямую, а когда к нему нужно прийти предельным переходом или более общим выпуклым анализом.

8.3. Пространство состояний и базовая мера

У MaxEnt есть полезная неприятная черта: он заставляет заметить решения, которые в другой модели легко принять за «нейтральные». Даже идеально решённая оптимизация даст другой ответ, если мы изменим то, что считаем элементарным состоянием.

Пусть $K$ — число успехов в $n$ бинарных испытаниях и известно только

$$\mathbb E[K]=\mu.$$

Рассмотрим две постановки.

Модель A: элементарное состояние — значение счётчика

Если пространство состояний равно

$$\{0,1, \ldots,n\}$$

и база равномерна по значениям $K$, то MaxEnt даёт

$$q_A(k) = \frac{e^{\lambda k}} {\sum_{j=0}^ne^{\lambda j}}.$$

Это усечённое геометрическое распределение. Каждое число $k$ считается одним состоянием, независимо от того, сколькими способами оно может возникнуть.

Модель B: элементарное состояние — бинарная конфигурация

Теперь состоянием является полный вектор

$$x=(x_1, \ldots,x_n)\in\{0,1\}^n, \qquad K(x)=\sum_i x_i,$$

а база равномерна по всем $2^n$ микросостояниям. Тогда

$$q_B(x) \propto \exp\left(\lambda\sum_i x_i\right) = \prod_i e^{\lambda x_i}.$$

Нормировка факторизуется, поэтому координаты становятся независимыми случайными величинами Бернулли с

$$p = \frac{e^\lambda}{1+e^\lambda} = \frac\mu n.$$

Следовательно,

$$K\sim\operatorname{Binomial}(n,p).$$

Почему ответы различаются? Значению $K=k$ соответствует

$$\binom nk$$

бинарных конфигураций. Поэтому равномерная база по микросостояниям индуцирует на счётчиках вовсе не равномерную меру, а массу, пропорциональную $\binom nk$:

$$q_B(k) \propto \binom nk e^{\lambda k}.$$

Разницу легко увидеть численно. При $n=10$ и $\mathbb E[K]=7$ модель A имеет $\lambda\approx0.2187$ и оставляет заметную массу на всём диапазоне; в частности, $q_A(10)\approx0.216$. Модель B даёт $p=0.7$ и биномиальное распределение, сосредоточенное около семи; здесь $q_B(10)=0.7^{10}\approx0.028$.

Обе модели точно удовлетворяют одному среднему. Они отвечают на разные вопросы.

Это не экзотическая ловушка статистической механики. В ML выбор состояния появляется повсюду:

• считать ли многометочный ответ одной категорией или набором бинарных решений;
• моделировать ли последовательность целиком или факторизовать её по токенам;
• считать ли перестановки объектов разными состояниями;
• использовать ли равномерную базу по классам или предобученное распределение;
• считать ли две параметризации одной функции разными гипотезами.

Отсюда практическое правило:

Перед фразой «выберем максимально неопределённое распределение» назовите пространство состояний, базу и ограничения.

Для непрерывных величин этот вопрос ещё острее. Дифференциальная энтропия меняется при смене координат и единиц измерения. Относительная энтропия к явно выбранной базовой мере делает моделирующее предположение видимым и потому часто является более надёжной отправной точкой.

8.4. Классические MaxEnt-распределения и AWGN-канал

После выбора пространства состояний знакомые распределения перестают выглядеть случайным меню из учебника. Они возникают как ответы на разные наборы информации.

Равномерное распределение

На конечном множестве из $K$ состояний, если известно только условие нормировки,

$$q^*(x)=\frac1K.$$

Это тот же факт, который в Модуле 2 записывался как

$$H(q)\le\log K.$$

Здесь он получает другую интерпретацию: равномерность — не универсальный априорный закон, а MaxEnt-ответ на конечном симметричном пространстве без дополнительных ограничений.

Экспоненциальное распределение

На полуоси $[0,\infty)$ среди плотностей с заданным положительным средним

$$\mathbb E[X]=\mu$$

максимальную дифференциальную энтропию имеет

$$q^*(x) = \frac1\mu e^{-x/\mu}, \qquad x\ge0.$$

Носитель здесь является частью информации. На всей прямой одного ограничения на среднее недостаточно: распределение можно растягивать, не меняя среднее, и увеличивать дифференциальную энтропию без границы.

Гауссовское распределение

На $\mathbb R$ среди плотностей с фиксированными средним и дисперсией

$$\mathbb E[X]=\mu, \qquad \operatorname{Var}(X)=\sigma^2$$

максимальную дифференциальную энтропию имеет

$$q^*(x) = \frac1{\sqrt{2\pi\sigma^2}} \exp\left[-\frac{(x-\mu)^2}{2\sigma^2}\right].$$

В натах

$$h(X) = \frac12\log(2\pi e\sigma^2).$$

Это свойство даёт важную характеристику гауссовского распределения: при фиксированной ковариации никакая другая плотность не имеет большей дифференциальной энтропии. Но оно не заменяет центральную предельную теорему. У энтропийных версий CLT есть собственные условия и доказательства; фраза «сумма становится гауссовской, потому что энтропия растёт» слишком быстро соединяет разные результаты.

Почему гауссовский вход достигает пропускной способности AWGN

Теперь вернёмся к каналу из Модуля 7:

$$Y=X+N, \qquad N\sim\mathcal N(0,\sigma_N^2), \qquad \mathbb E[X^2]\le P,$$

где $X$ и $N$ независимы. В битах

$$I(X;Y)=h_2(Y)-h_2(N).$$

Шум фиксирован, значит максимизировать нужно энтропию выхода. Его дисперсия удовлетворяет

$$\operatorname{Var}(Y) = \operatorname{Var}(X)+\sigma_N^2 \le P+\sigma_N^2.$$

По MaxEnt-свойству гауссиана

$$h_2(Y) \le \frac12\log_2\bigl(2\pi e(P+\sigma_N^2)\bigr).$$

Вычитая

$$h_2(N) = \frac12\log_2(2\pi e\sigma_N^2),$$

получаем

$$I(X;Y) \le \frac12\log_2\left(1+\frac{P}{\sigma_N^2}\right).$$

Равенство достигается при

$$X\sim\mathcal N(0,P),$$

потому что тогда выход $Y$ тоже гауссовский и использует всю допустимую дисперсию.

На этом месте легко сократить рассуждение до «гауссовский вход максимизирует энтропию, поэтому максимизирует MI». Правильная цепочка чуть длиннее и важнее: гауссовский вход делает гауссовским выход; именно максимальная энтропия выхода даёт максимальную взаимную информацию при фиксированном шуме.

8.5. Условный MaxEnt и лог-линейные модели

До трансформеров многие NLP-системы строились из признаков, которые инженер задавал вручную: текущее слово начинается с заглавной буквы, предыдущая метка была B-PER, суффикс равен -ing, слово встречается в словаре организаций. Задача была знакомой и по-прежнему актуальной: превратить множество частичных сигналов в нормированное условное распределение.

Пусть $\widehat p(x)$ — эмпирическое распределение входов, $y$ — метка, а

$$f_j(x,y)$$

— признаки пары «вход — ответ». Потребуем, чтобы модель воспроизводила их эмпирические средние:

$$\sum_{x,y} \widehat p(x)q(y\mid x)f_j(x,y) = \widehat\mu_j.$$

Среди всех условных распределений, удовлетворяющих этим ограничениям, максимизируем условную энтропию

$$H_q(Y\mid X) = - \sum_{x,y} \widehat p(x)q(y\mid x)\log q(y\mid x).$$

Тот же лагранжев ход приводит к условной лог-линейной модели:

$$\boxed{ q_\theta(y\mid x) = \frac{\exp\bigl(\theta^\top f(x,y)\bigr)} {Z_\theta(x)} },$$

где

$$Z_\theta(x) = \sum_{y'} \exp\bigl(\theta^\top f(x,y')\bigr).$$

Каждый признак добавляет свой вклад в логит, а нормировочная константа превращает сумму вкладов в распределение по ответам. Если $f(x,y)$ — выход последнего скрытого слоя, а $\theta$ — веса линейной головы, перед нами обычный softmax-классификатор. Разница в том, откуда взялись признаки: раньше их проектировал человек, теперь их чаще учит глубокая сеть.

Максимальное правдоподобие и согласование моментов

Для выборки $(x_i,y_i)_{i=1}^n$ условное логарифмическое правдоподобие равно

$$\ell(\theta) = \sum_{i=1}^n \left[ \theta^\top f(x_i,y_i) - \log Z_\theta(x_i) \right].$$

Его градиент:

$$\boxed{ \nabla_\theta\ell(\theta) = \sum_i f(x_i,y_i) - \sum_i \mathbb E_{Y\sim q_\theta(\cdot\mid x_i)} [f(x_i,Y)] }.$$

Формулу стоит прочитать до того, как двигаться дальше. Первый член считает признаки, действительно встреченные в данных. Второй спрашивает, сколько тех же признаков ожидает текущая модель. Обучение уменьшает разницу между двумя описаниями выборки.

Если существует конечный внутренний максимум нерегуляризованного правдоподобия, нулевой градиент даёт точное согласование моментов (moment matching):

$$\sum_i f(x_i,y_i) = \sum_i \mathbb E_{q_\theta(\cdot\mid x_i)}[f(x_i,Y)].$$

Это не декоративная аналогия с MaxEnt. В условном экспоненциальном семействе максимальное правдоподобие и условный MaxEnt являются двумя сторонами одной выпуклой двойственности.

Где заканчивается точное утверждение

Теперь можно компактно обозначить область действия.

• Регуляризация добавляет к уравнению моментов собственный член, поэтому равенство меняется.
• Линейно зависимые признаки делают параметры неидентифицируемыми, хотя распределение может быть определено однозначно.
• При линейной разделимости конечного MLE может не существовать: нормы параметров растут, а правдоподобие приближается к супремуму.
• У глубокой сети логиты нелинейно зависят от миллионов весов. Обучение по кросс-энтропии остаётся максимальным правдоподобием условной модели, но не превращает всю сеть в одну простую MaxEnt-задачу с явными ограничениями на внутренние признаки.

Положительный результат при этом остаётся сильным: для лог-линейной головы градиент действительно сравнивает эмпирические и модельные средние признаков.

Историческая линия NLP

Классификаторы максимальной энтропии использовали такие условные модели для разметки и классификации. Maximum Entropy Markov Models (MEMM) нормировали переходы локально для каждого состояния. Conditional Random Fields (CRF) перенесли нормировку на всю последовательность меток:

$$q_\theta(y_{1:T}\mid x_{1:T}) = \frac{ \exp\bigl(\theta^\top F(x_{1:T},y_{1:T})\bigr) }{ Z_\theta(x_{1:T}) }.$$

Современная архитектура может строить признаки гораздо сложнее, но экспоненциальная нормировка никуда не исчезла. Поэтому историческая связь с MaxEnt содержательна: изменилась машина, которая производит оценки, а способ превратить эти оценки в условное распределение сохранился.

Следующий шаг — рассмотреть сам softmax отдельно. Он знаком каждому ML-инженеру, но за одной строкой API скрывается законченная вариационная задача.

8.6. Softmax как решение задачи «оценка + энтропия»

Современный ML использует softmax настолько часто, что он почти перестал выглядеть как идея. Обычно его вводят процедурно: сеть выдаёт логиты, мы применяем экспоненту, нормируем сумму до единицы — и получаем вероятности. Это правильно, но оставляет без ответа более интересный вопрос: почему именно такая нормировка возникает в классификации, генерации и обучении политик снова и снова?

Сильный ответ звучит так: softmax — это MaxEnt-решение. В этой фразе есть важная правда, но её нужно сформулировать точно. Softmax не максимизирует энтропию «вообще» и не выводится из ограничений, которые заранее фиксируют искомые вероятности. Он решает конкретный конфликт: мы хотим предпочитать варианты с высокой оценкой, но не хотим концентрировать распределение сильнее, чем требует эта оценка.

Пусть $z=(z_1,\ldots,z_K)\in\mathbb R^K$ — логиты, $q\in\Delta_K$ — распределение по $K$ вариантам, а энтропия измеряется в натах:

$$H(q)=-\sum_{k=1}^K q_k\log q_k.$$

Для температуры $\tau>0$ рассмотрим задачу

$$\boxed{ \max_{q\in\Delta_K} \left\{ q^\top z+\tau H(q) \right\}. }$$

У двух членов здесь разные роли.

• $q^\top z$ — ожидаемая оценка. Он тянет массу к вариантам с большими логитами.
• $H(q)$ — сопротивление преждевременной концентрации. Он вознаграждает распределения, которые сохраняют неопределённость.
• $\tau$ — обменный курс между этими требованиями. Он показывает, сколько единиц ожидаемой оценки мы готовы отдать за дополнительную единицу энтропии.

Решение этой задачи — softmax:

$$\boxed{ q_k^* = \frac{\exp(z_k/\tau)} {\sum_{j=1}^K\exp(z_j/\tau)} }.$$

А оптимальное значение равно

$$\boxed{ \max_{q\in\Delta_K} \{q^\top z+\tau H(q)\} = \tau\log\sum_{k=1}^K e^{z_k/\tau}. }$$

Иными словами, logsumexp — это не случайная гладкая замена максимума, а цена оптимального компромисса между оценкой и энтропией.

Точный KL-разрыв

Обозначим

$$s_k = \frac{e^{z_k/\tau}}{Z}, \qquad Z=\sum_j e^{z_j/\tau}.$$

Для любого $q\in\Delta_K$:

$$\begin{aligned} q^\top z+\tau H(q) &= \tau\sum_k q_k \log\frac{e^{z_k/\tau}}{q_k}\\ &= \tau\sum_k q_k \log\frac{Zs_k}{q_k}\\ &= \tau\log Z - \tau D_{\mathrm{KL}}(q\|s). \end{aligned}$$

KL-дивергенция неотрицательна, поэтому максимум единственно достигается при $q=s$. Но главное здесь не только ответ. Мы получили точный разрыв:

$$\boxed{ \tau\log Z- \bigl(q^\top z+\tau H(q)\bigr) = \tau D_{\mathrm{KL}}(q\|q^*). }$$

Любое отклонение от softmax-распределения оплачивается KL-дивергенцией до оптимума. Это уже не метафора про «мягкий выбор», а полная геометрия задачи.

В каком смысле softmax является MaxEnt

Теперь можно вернуть исходный сильный тезис — но без логической подмены.

Пусть $q^*=\operatorname{softmax}(z/\tau)$ и

$$\mu_\tau=(q^*)^\top z.$$

Среди всех распределений с тем же ожидаемым логитом,

$$q^\top z=\mu_\tau,$$

распределение $q^*$ имеет максимальную энтропию. Действительно, на этом множестве ожидаемая оценка одинакова, поэтому максимизация $q^\top z+\tau H(q)$ сводится к максимизации $H(q)$.

Таким образом, корректны две эквивалентные точки зрения:

1. регуляризованная: softmax максимизирует «ожидаемая оценка + $\tau$ × энтропия»;
2. MaxEnt: softmax максимизирует энтропию при фиксированном уровне ожидаемой оценки, причём этот уровень связан с $\tau$.

А вот ограничения вида

$$\mathbb E_q[\mathbf 1\{Y=k\}]=\pi_k$$

не выводят softmax: они уже означают $q_k=\pi_k$ и тем самым заранее задают ответ. Это полезный пример того, как верная интуиция может быть испорчена неудачной формализацией.

Температура как параметр обмена

Для логитов $z=(2,1,0)$ получаем:

При малой температуре один дополнительный пункт логита стоит дорого: распределение быстро концентрируется. При большой температуре тот же разрыв между логитами слабее влияет на вероятности, и энтропия растёт.

Предельные режимы тоже читаются точно:

• при $\tau\to0$ масса концентрируется на максимизаторах $z$; если максимум достигается в нескольких классах, предельное распределение равномерно между ними;
• при $\tau\to\infty$ распределение стремится к равномерному на всех $K$ классах;
• добавление одной константы ко всем логитам не меняет softmax;
• умножение логитов на $c>0$ эквивалентно делению температуры на $c$.

Функция

$$F_\tau(z)=\tau\log\sum_k e^{z_k/\tau}$$

сглаживает максимум:

$$\max_k z_k \le F_\tau(z) \le \max_k z_k+\tau\log K,$$

а её градиент возвращает само оптимальное распределение:

$$\nabla_zF_\tau(z)=\operatorname{softmax}(z/\tau).$$

Поэтому softmax одновременно играет три роли: превращает оценки в распределение, решает энтропийно-регуляризованную задачу и является градиентом гладкого максимума.

Граница утверждения

Softmax — не «единственно честный» способ превратить оценки в вероятности. Он единственен как решение этой задачи, с энтропией Шеннона и линейным членом ожидаемой оценки. Если заменить регуляризатор, изменится и отображение: некоторые регуляризаторы, например, дают разреженные распределения с точными нулями.

Но ослаблять основной вывод из-за этого не нужно. Он уже достаточно силён:

softmax — точный оптимум задачи, в которой логиты голосуют за варианты, а энтропия не даёт этим голосам превратиться в более уверенное распределение, чем оправдывает выбранная температура.

На конечном множестве классов нормировочная сумма дёшева. Теперь заменим классы всеми возможными изображениями, конфигурациями или текстовыми последовательностями — и та же идея превратится в энергетическую модель.

8.7. Энергетические модели и нормировочная константа

Softmax можно считать простейшей энергетической моделью. Возьмём состояние $x=k$, положим

$$E(k)=-\frac{z_k}{\tau}$$

и нормируем $e^{-E(k)}$ по всем классам. Получится тот же softmax.

Пока состояний несколько тысяч, эта операция выглядит почти бесплатной. Но если состоянием является изображение, молекула или вся последовательность токенов, сумма по всем возможным $x$ становится астрономической. Именно здесь привычная нормировка превращается из последней строки кода в центральную вычислительную проблему.

Энергетическая модель (energy-based model, EBM) задаёт распределение в виде

$$\boxed{ q_\theta(x) = \frac{m(x)e^{-E_\theta(x)}}{Z_\theta}, } \qquad Z_\theta = \int m(x)e^{-E_\theta(x)}\,dx.$$

Здесь:

• $E_\theta(x)$ — энергия состояния: меньшая энергия означает большую ненормированную правдоподобность;
• $m(x)$ — базовая плотность или базовая мера;
• $Z_\theta$ — нормировочная константа (partition function).

Энергия умеет отвечать на локальный вопрос: «насколько это состояние совместимо с моделью?» Нормировочная константа заставляет все локальные ответы согласоваться глобально. $Z_\theta$ — цена превращения системы оценок в вероятностную модель.

Связь EBM с MaxEnt

Здесь тоже легко произнести красивую фразу слишком широко: «любая EBM — это MaxEnt». Точная связь зависит от формы энергии.

Если

$$E_\theta(x)=-\theta^\top f(x),$$

то

$$q_\theta(x) \propto m(x)e^{\theta^\top f(x)}$$

является экспоненциальным семейством. Такая форма возникает из относительного MaxEnt при ограничениях на моменты $\mathbb E[f(X)]$. В этом случае признаки $f$ имеют прямой смысл макроскопических величин, а параметры $\theta$ — множителей Лагранжа.

Если же $E_\theta$ — произвольная глубокая сеть, Gibbs-форма остаётся корректной, но известной нам системы MaxEnt-ограничений может не существовать в явном виде. Gibbs-форма шире конкретной истории, из которой она могла быть выведена. Это не делает нейросетевую EBM менее содержательной; просто её энергия задаётся моделью, а не списком интерпретируемых моментов.

Градиент логарифмического правдоподобия

Для одного наблюдения $x$ отрицательное логарифмическое правдоподобие равно

$$-\log q_\theta(x) = E_\theta(x) + \log Z_\theta - \log m(x).$$

Если $m$ не зависит от $\theta$, то

$$\nabla_\theta\log Z_\theta = -\mathbb E_{X\sim q_\theta} [\nabla_\theta E_\theta(X)],$$

и поэтому

$$\boxed{ \nabla_\theta[-\log q_\theta(x)] = \nabla_\theta E_\theta(x) - \mathbb E_{X\sim q_\theta} [\nabla_\theta E_\theta(X)]. }$$

На этом месте формулу лучше прочитать как динамику обучения.

Первый член просит понизить энергию наблюдаемого примера. Если бы он был единственным, модель могла бы понизить энергию вообще всех состояний и ничего не выучить. Второй член сравнивает данные с тем, что сейчас генерирует сама модель, и не даёт выиграть таким тривиальным способом.

В литературе эти части часто называют положительной и отрицательной фазами (positive phase, negative phase):

• данные тянут свою энергию вниз;
• модельные примеры получают компенсирующее давление;
• обучение меняет не абсолютный уровень энергии, а рельеф, отделяющий данные от альтернатив.

Для линейной энергии $E_\theta(x)=-\theta^\top f(x)$ градиент принимает особенно прозрачный вид:

$$\nabla_\theta[-\log q_\theta(x)] = -f(x)+\mathbb E_{q_\theta}[f(X)].$$

После усреднения по данным стационарное условие требует

$$\mathbb E_{\text{data}}[f(X)] = \mathbb E_{q_\theta}[f(X)].$$

Так в EBM снова появляется согласование моментов (moment matching). Это тот же механизм, который стоял за классическими MaxEnt-моделями NLP, но теперь он виден непосредственно в градиенте правдоподобия.

Вычислительная трудность

Первый член градиента вычисляется на данных. Второй требует ожидания по текущей модели. Чтобы его оценить, нужно уметь получать образцы из $q_\theta$ или достаточно хорошо аппроксимировать это ожидание. Для сложной энергии именно это часто оказывается труднее, чем вычислить саму $E_\theta(x)$.

Отсюда возникают MCMC, contrastive divergence и другие способы приблизить отрицательную фазу. Их общая задача — понять, какие состояния модель сейчас считает правдоподобными, не перебирая всё пространство.

Согласование скор-функций (score matching) идёт другим путём. Если плотность дифференцируема по $x$, то

$$\nabla_x\log q_\theta(x) = -\nabla_xE_\theta(x) + \nabla_x\log m(x).$$

Нормировочная константа исчезает, потому что она не зависит от $x$. Поэтому можно обучать скор-функцию (score) без явного вычисления $Z_\theta$.

Эта связь действительно ведёт к современным моделям на основе скор-функции (score-based models) и диффузионным моделям, но не сводит их к одной статической EBM. Диффузионная модель обычно обучает семейство зависящих от времени скор-функций для распределений с разными уровнями шума, а генерация реализует обращение соответствующего стохастического процесса. Физическая интуиция здесь полезна; буквальное тождество было бы слишком грубым.

Главный переход уже перед нами. В EBM базовая мера $m$ задаёт, где масса находилась до энергетического наклона. Если вместо $m$ подставить базовую языковую модель, а вместо $-E$ — награду, получится точная формула KL-регуляризованной политики.

8.8. KL-регуляризованная политика и Gibbs-оптимум

Теперь сделаем одну замену смысла переменных:

• состояние $x$ станет ответом $y$ на контекст $x$;
• базовое распределение $m$ станет базовой политикой $\pi_{\mathrm{ref}}(y\mid x)$;
• отрицательная энергия станет нормированной наградой $r(x,y)/\beta$.

Именно поэтому формула, знакомая по статистической физике и MaxEnt, возникает в RLHF и DPO не как украшение, а как аналитический оптимум.

Для фиксированного контекста $x$ рассмотрим

$$J_x(\pi) = \mathbb E_{y\sim\pi(\cdot\mid x)}[r(x,y)] - \beta D_{\mathrm{KL}} \bigl( \pi(\cdot\mid x) \|\pi_{\mathrm{ref}}(\cdot\mid x) \bigr),$$

где $\beta>0$. Оптимизация ведётся по всем распределениям $\pi(\cdot\mid x)$, абсолютно непрерывным относительно $\pi_{\mathrm{ref}}$: политика не может создать массу там, где базовая политика имеет нулевую вероятность.

Предположим, что

$$Z(x) = \mathbb E_{y\sim\pi_{\mathrm{ref}}(\cdot\mid x)} \left[e^{r(x,y)/\beta}\right] <\infty.$$

Тогда единственный оптимум имеет вид

$$\boxed{ \pi^*(y\mid x) = \frac{ \pi_{\mathrm{ref}}(y\mid x) \exp(r(x,y)/\beta) }{Z(x)}. }$$

Эту формулу действительно стоит запомнить. Она говорит не «выберите softmax-параметризацию и попробуйте её обучить», а нечто сильнее: если целевая функция именно такая, то оптимальное распределение обязано быть экспоненциальным наклоном базовой политики.

Точный разрыв целевой функции

Из определения $\pi^*$:

$$\log\frac{\pi(y\mid x)}{\pi^*(y\mid x)} = \log\frac{\pi(y\mid x)}{\pi_{\mathrm{ref}}(y\mid x)} - \frac{r(x,y)}{\beta} + \log Z(x).$$

Усредним это равенство по $\pi$:

$$D_{\mathrm{KL}}(\pi\|\pi^*) = D_{\mathrm{KL}}(\pi\|\pi_{\mathrm{ref}}) - \frac1\beta\mathbb E_\pi[r] + \log Z.$$

После перегруппировки:

$$\boxed{ J_x(\pi) = \beta\log Z(x) - \beta D_{\mathrm{KL}}(\pi\|\pi^*). }$$

Отсюда

$$J_x(\pi^*)=\beta\log Z(x),$$

и точный недобор любой другой политики равен

$$\boxed{ J_x(\pi^*)-J_x(\pi) = \beta D_{\mathrm{KL}}(\pi\|\pi^*). }$$

Мы получили сразу три факта:

1. $\pi^*$ — глобальный, а не локальный оптимум;
2. на носителе базовой политики он единственен;
3. недобор любой другой политики измеряется KL-дивергенцией до него.

Это вариационный принцип Гиббса (Gibbs variational principle), или относительный MaxEnt. При равномерной базовой политике он превращается в обычную задачу «награда + энтропия». При неравномерной базе энтропия становится относительной: политика платит не за концентрацию саму по себе, а за отход от того распределения, которое уже умела порождать модель.

Численный пример

Пусть базовая политика распределяет массу по трём ответам так:

$$\pi_{\mathrm{ref}}=(0.7,\ 0.2,\ 0.1), \qquad r=(0,\ 1,\ 2).$$

Тогда:

Третий ответ начинал с вероятности $0.1$, но высокая награда постепенно перетягивает к нему массу. При этом наклон не забывает базовую модель: два ответа с одинаковой наградой сохраняли бы отношение вероятностей, заданное $\pi_{\mathrm{ref}}$.

Это важнее, чем кажется. Формула не складывает «вероятность базы» и «награду». Она складывает их в логарифмическом пространстве:

$$\log\pi^*(y\mid x) = \log\pi_{\mathrm{ref}}(y\mid x) + \frac{r(x,y)}\beta - \log Z(x).$$

Награда действует как добавка к лог-вероятности, а затем вся система заново нормируется. Аддитивные разности награды поэтому превращаются в отношения вероятностей: это мультипликативное обновление и есть определяющая черта наклона Гиббса.

Интерпретация $\beta$

$\beta$ имеет те же единицы, что и награда. Поэтому число вроде $\beta=0.1$ ничего не говорит без масштаба модели награды.

• Добавление к $r(x,y)$ константы, зависящей только от $x$, не меняет $\pi^*$: константа поглощается в $Z(x)$.
• Умножение награды на $c>0$ эквивалентно делению $\beta$ на $c$.
• При $\beta\to\infty$ политика стремится к $\pi_{\mathrm{ref}}$.
• При $\beta\to0$ масса концентрируется на ответах с максимальной наградой внутри носителя базы. Если максимизаторов несколько, предельные веса между ними пропорциональны их вероятностям под $\pi_{\mathrm{ref}}$, а не обязаны быть равными.

Штрафованная задача является лагранжевой формой задачи с ограничением

$$\max_\pi \mathbb E_\pi[r] \quad \text{при} \quad D_{\mathrm{KL}}(\pi\|\pi_{\mathrm{ref}})\le\varepsilon.$$

При обычных условиях граничным значениям KL-бюджета соответствуют значения $\beta$. Поэтому $\beta$ можно читать и как температуру, и как цену единицы ухода от базы, и как множитель Лагранжа области доверия (trust region). Это три языка одной оптимизационной конструкции.

Связь с DPO

Из Gibbs-формы можно выразить награду через оптимальную политику:

$$r(x,y) = \beta \log\frac{\pi^*(y\mid x)} {\pi_{\mathrm{ref}}(y\mid x)} + \beta\log Z(x).$$

В модели предпочтений Bradley–Terry используются разности наград двух ответов. Член $\beta\log Z(x)$ зависит только от контекста и сокращается:

$$\begin{aligned} r(x,y_w)-r(x,y_l) = \beta\Bigg[ &\log\frac{\pi^*(y_w\mid x)} {\pi_{\mathrm{ref}}(y_w\mid x)}\\ -&\log\frac{\pi^*(y_l\mid x)} {\pi_{\mathrm{ref}}(y_l\mid x)} \Bigg]. \end{aligned}$$

После подстановки этой разности в логистическое правдоподобие предпочтений получается функция потерь DPO. В этом смысле DPO действительно использует аналитическую форму оптимальной KL-регуляризованной политики и устраняет необходимость обучать отдельную модель награды (reward model), а затем запускать RL-цикл.

Но здесь важно назвать тезис, который мы не доказывали. Формула $\pi^*$ описывает неограниченный оптимум по всем распределениям при фиксированных $r$ и $\pi_{\mathrm{ref}}$. Реальная LLM ограничена параметризацией, конечными данными и оптимизатором. PPO — алгоритм приближения к своей целевой функции; DPO — оценивание политики из пар предпочтений при дополнительной модели этих предпочтений. Из общей Gibbs-формы не следует, что их конечные решения обязаны совпадать.

И всё же формула снимает значительную часть терминологического тумана вокруг постобучения (post-training). В центре остаётся одна операция:

награда экспоненциально перераспределяет массу базовой модели, а KL задаёт цену этого перераспределения.

Красота этой конструкции одновременно показывает её уязвимость. Оптимум безошибочно максимизирует именно ту награду, которую мы записали. Если награда является несовершенной прокси, математика так же безошибочно усилит и её ошибки.

8.9. Переоптимизация награды и роль KL

Старую интуицию удобно сформулировать прямо: KL-якорь защищает от закона Гудхарта. Как практическая эвристика это часто полезно — удержание около базовой модели действительно ограничивает область, в которой модель награды можно эксплуатировать. Как математическое утверждение фраза слишком сильна.

KL знает только две политики: текущую и базовую. Он не видит неизвестную истинную цель и не умеет проверять, правильно ли задана награда. Поэтому точный вопрос звучит иначе:

Что гарантированно происходит вдоль Gibbs-траектории, когда мы всё сильнее оптимизируем прокси-награду, и где в этой картине может сломаться связь с истинным качеством?

Пусть

$$\pi_\alpha(y) = \frac{ \pi_{\mathrm{ref}}(y)e^{\alpha r_{\mathrm{proxy}}(y)} }{Z(\alpha)}, \qquad \alpha=\frac1\beta.$$

Параметр $\alpha$ удобен как мера оптимизационного давления: чем он больше, тем сильнее политика наклоняется по прокси-награде.

Ковариационное тождество

Для любой интегрируемой функции $g(y)$:

$$\boxed{ \frac{d}{d\alpha} \mathbb E_{\pi_\alpha}[g(Y)] = \operatorname{Cov}_{\pi_\alpha} \bigl(g(Y),r_{\mathrm{proxy}}(Y)\bigr). }$$

Доказательство занимает одну строку, если сначала продифференцировать само распределение:

$$\frac{d}{d\alpha}\pi_\alpha(y) = \pi_\alpha(y) \left( r_{\mathrm{proxy}}(y) - \mathbb E_{\pi_\alpha}[r_{\mathrm{proxy}}] \right).$$

После умножения на $g(y)$ и суммирования получается ковариация.

Это, пожалуй, самая содержательная формула раздела. Она говорит: экспоненциальный наклон увеличивает не все полезные величины, а те, которые положительно ковариируют с прокси-наградой под текущей политикой. Причём слово «текущей» критично: по мере движения политики сама область усреднения меняется.

Динамика прокси-награды

Подставим $g=r_{\mathrm{proxy}}$:

$$\boxed{ \frac{d}{d\alpha} \mathbb E_{\pi_\alpha}[r_{\mathrm{proxy}}] = \operatorname{Var}_{\pi_\alpha}(r_{\mathrm{proxy}}) \ge0. }$$

Пока прокси-награда не стала константой на поддержке политики, усиление оптимизации строго повышает её ожидаемое значение. Оптимизатор делает именно то, что от него просили. Закон Гудхарта начинается не с отказа оптимизации, а с её успеха.

Динамика истинного качества

Теперь положим $g=r_{\mathrm{true}}$:

$$\boxed{ \frac{d}{d\alpha} \mathbb E_{\pi_\alpha}[r_{\mathrm{true}}] = \operatorname{Cov}_{\pi_\alpha} (r_{\mathrm{true}},r_{\mathrm{proxy}}). }$$

Пока прокси и истинная цель положительно связаны в области, где находится масса политики, истинное качество растёт. Но сильный наклон отбирает всё более экстремальные состояния. В хвосте распределения могут находиться ошибки модели награды, редкие артефакты или стратегии, которые получают высокую прокси-награду по неправильной причине. Тогда ковариация уменьшается, проходит через ноль и может стать отрицательной.

Получается точная версия привычной Goodhart-кривой:

• сначала прокси помогает найти действительно лучшие ответы;
• затем полезный сигнал исчерпывается;
• после этого дополнительное давление преимущественно отбирает ошибки самой прокси.

Это не универсальная теорема о том, что истинная награда обязана сначала расти, а затем падать. Такое поведение возникает, когда ковариация меняет знак. Но формула показывает ровно тот механизм, который нужно проверять.

В вычислительном примере модуля базовая политика приписывает редкому действию-эксплойту вероятность $0.001$. Прокси ошибочно оценивает его высоко, тогда как истинная награда низка. При умеренном $\alpha$ политика улучшает обычные действия; при большом $\alpha$ редкая ошибка начинает доминировать. Прокси-награда продолжает расти, а истинная — после максимума падает.

Подобную переоптимизацию наблюдали и в контролируемых экспериментах с моделями награды: при усилении оптимизации прокси-награда может продолжать расти, тогда как оценка фиксированной эталонной моделью ухудшается. Это эмпирический факт конкретного протокола, а не следствие одной абстрактной KL-формулы.

Что контролирует KL

Вдоль той же Gibbs-траектории

$$D_{\mathrm{KL}}(\pi_\alpha\|\pi_{\mathrm{ref}}) = \alpha\mathbb E_{\pi_\alpha}[r_{\mathrm{proxy}}] - \log Z(\alpha),$$

поэтому

$$\boxed{ \frac{d}{d\alpha} D_{\mathrm{KL}}(\pi_\alpha\|\pi_{\mathrm{ref}}) = \alpha \operatorname{Var}_{\pi_\alpha}(r_{\mathrm{proxy}}) \ge0. }$$

Для фиксированной прокси-награды меньшее $\beta$ действительно ведёт дальше от базовой политики. Это и есть точная роль якоря: он регулирует сдвиг распределения (distribution shift) относительно режима, в котором базовая модель и, предположительно, модель награды были лучше изучены.

Есть и более операционное следствие. Если некоторая величина $g$ ограничена интервалом $[a,b]$, то из неравенства Пинскера следует

$$\left| \mathbb E_\pi[g]- \mathbb E_{\pi_{\mathrm{ref}}}[g] \right| \le (b-a) \sqrt{ \frac12 D_{\mathrm{KL}}(\pi\|\pi_{\mathrm{ref}}) }.$$

Малый KL ограничивает изменение любой ограниченной статистики по сравнению с базой. Но знак изменения он не определяет. Если базовая политика была плоха по истинной цели, близость к ней не делает политику хорошей; если модель награды ошибается уже рядом с базой, KL не обнаружит эту ошибку.

Поэтому удачная формула для практики звучит так:

KL задаёт область доверия по распределению, а не сертификат корректности награды.

Почему нет общего закона $1/\beta$

Пусть идеальные наклоны по прокси- и истинной награде равны

$$\pi^*_{\mathrm{proxy}} \propto \pi_{\mathrm{ref}}e^{r_{\mathrm{proxy}}/\beta}, \qquad \pi^*_{\mathrm{true}} \propto \pi_{\mathrm{ref}}e^{r_{\mathrm{true}}/\beta}.$$

Тогда

$$D_{\mathrm{KL}} (\pi^*_{\mathrm{proxy}}\|\pi^*_{\mathrm{true}}) = \frac1\beta \mathbb E_{\pi^*_{\mathrm{proxy}}} [r_{\mathrm{proxy}}-r_{\mathrm{true}}] + \log\frac{Z_{\mathrm{true}}}{Z_{\mathrm{proxy}}}.$$

Перед первым членом действительно стоит $1/\beta$, но и ожидание, и обе нормировочные константы зависят от $\beta$. Поэтому из этой записи нельзя заключить ни линейный рост, ни даже монотонность.

Простой контрпример показывает проблему наглядно. Возьмём равномерную базу на трёх действиях и

$$r_{\mathrm{proxy}}=(2,1,0), \qquad r_{\mathrm{true}}=(2,0,1).$$

Прокси и истинная награда по-разному ранжируют второе и третье действия, но имеют один и тот же уникальный максимум. При усилении давления KL между двумя наклонёнными политиками сначала растёт, а затем снова стремится к нулю: обе политики в пределе концентрируются на первом действии. Значит, тезис «KL растёт как $1/\beta$» неверен даже на трёх состояниях.

Практические следствия

Из математики следует не запрет на сильную оптимизацию, а дисциплина измерения.

• $\beta$ нужно выбирать относительно масштаба награды и наблюдаемого KL-отклонения, а не как безразмерную магическую константу.
• Помимо значения прокси-награды нужна независимая человеческая или эталонная оценка, не оптимизируемая тем же циклом.
• Полезно строить кривую качества по нескольким уровням давления и останавливать оптимизацию до области, где связь между прокси- и истинной наградами начинает ломаться.
• Нужно смотреть не только на среднее вознаграждение, но и на хвосты, редкие режимы, потерю разнообразия и новые способы эксплуатации модели награды.

Именно здесь сходятся MaxEnt, EBM и RLHF. Экспоненциальный наклон — мощная машина перераспределения вероятности. Он честно усиливает заданный сигнал, но не умеет отличать цель от её несовершенного измерителя. Эту часть задачи нельзя делегировать нормировочной константе или KL-штрафу: её решают качеством прокси, независимой проверкой и контролем сдвига распределения.

8.10. Математическое углубление: экспоненциальные семейства и достаточность

Этот раздел не нужен для первого прохождения M8. Его лучше читать как самостоятельную вторую главу внутри модуля: сначала мы разберём устройство экспоненциального семейства, затем соберём в канонической форме основные дискретные и непрерывные распределения и только после этого вернёмся к достаточности и теореме Питмана—Купмана—Дармуа.

К этому месту одна и та же формула появилась уже слишком много раз, чтобы считать совпадение случайным:

$$\text{база} \times \exp\{\text{линейная функция статистик}\} \times \text{нормировка}.$$

Но повторение формы ещё не делает все утверждения эквивалентными. Здесь особенно полезно разделить три вопроса.

1. Какое распределение получается из оптимизации энтропии при ограничениях?
2. Как устроен заранее выбранный параметрический класс распределений?
3. Когда выборку можно сжать до статистики фиксированной размерности без потери информации о параметре?

MaxEnt отвечает на первый вопрос. Определение экспоненциального семейства — на второй. Теория достаточности и теорема Питмана—Купмана—Дармуа связывают второй вопрос с третьим. Между этими историями есть глубокая общая геометрия, но ни одна из них не является автоматической заменой остальных.

Каноническая форма: что в ней фиксировано, а что обучается

Пусть $\nu$ — фиксированная базовая мера: считающая мера в дискретном случае или, например, мера Лебега для плотности на $\mathbb R$. Семейство распределений называется экспоненциальным, если его плотности относительно $\nu$ можно записать как

$$\boxed{ p(x\mid\eta) = h(x) \exp\bigl( \eta^\top T(x)-A(\eta) \bigr) }.$$

Здесь

$$A(\eta) = \log \int h(x)e^{\eta^\top T(x)}\,d\nu(x)$$

— логарифм нормировочной константы, а допустимое пространство натуральных параметров равно

$$\Omega = \{\eta\in\mathbb R^d:A(\eta)<\infty\}.$$

Если $\Omega$ открыто, семейство называют регулярным. Эта короткая оговорка понадобится ниже: она позволяет двигать параметр в малой окрестности и дифференцировать лог-нормировку без столкновения с границей пространства параметров.

Каждый элемент формулы выполняет отдельную работу.

• $\nu$ и $h(x)$ задают носитель и базовую геометрию. В $h$ попадают индикаторы носителя, комбинаторные множители вроде $1/x!$ и другие части плотности, не зависящие от параметра.
• $T(x)$ — вектор достаточных статистик одного наблюдения. Именно через него параметрическая часть модели «видит» исход $x$.
• $\eta$ — натуральный, или канонический, параметр. Он линейно взвешивает статистики в логарифме плотности.
• $A(\eta)$ нормирует распределение. Одновременно эта функция хранит его моменты и локальную геометрию.

Такое разложение удобно читать как инструкцию. Чтобы распознать экспоненциальное семейство, нужно взять логарифм плотности, собрать все зависящие от параметра коэффициенты при функциях от $x$ и вынести оставшуюся параметр-зависимую часть в $A(\eta)$.

Представление не единственно

Одна и та же модель может быть записана несколькими способами. К статистикам можно добавить линейно избыточную координату, а параметры преобразовать обратно; распределение не изменится. Поэтому различают минимальные и избыточные представления.

Семейство минимально, если не существует ненулевого вектора $a$ и константы $b$, для которых

$$a^\top T(x)=b$$

почти всюду. В минимальном регулярном семействе $A$ строго выпукла, а натуральный параметр идентифицируется однозначно. Softmax с $K$ свободными логитами — знакомое избыточное представление: прибавление одной константы ко всем логитам не меняет распределение. Минимальная категориальная параметризация использует $K-1$ логарифмов отношений шансов.

Это не педантичная деталь. Избыточность создаёт нулевые направления в гессиане и неединственность параметров, хотя само распределение может быть определено совершенно однозначно.

Почему $A(\eta)$ хранит моменты

Главные свойства лог-нормировки удобно не запоминать, а один раз вывести из условия нормировки. По определению

$$1 = \int h(x) \exp\bigl(\eta^\top T(x)-A(\eta)\bigr) \,d\nu(x).$$

Продифференцируем по компоненте $\eta_j$, предполагая, что производную можно перенести под знак интеграла:

$$0 = \int p(x\mid\eta) \left( T_j(x)-\frac{\partial A}{\partial\eta_j} \right) \,d\nu(x).$$

Следовательно,

$$\boxed{ \frac{\partial A}{\partial\eta_j} = \mathbb E_\eta[T_j(X)] }.$$

В векторной форме:

$$\boxed{ \nabla A(\eta) = \mathbb E_\eta[T(X)] }.$$

Ещё одна производная даёт

$$\begin{aligned} \frac{\partial^2A} {\partial\eta_j\partial\eta_k} &= \mathbb E_\eta[T_j(X)T_k(X)] - \mathbb E_\eta[T_j(X)] \mathbb E_\eta[T_k(X)]\\ &= \operatorname{Cov}_\eta \bigl(T_j(X),T_k(X)\bigr). \end{aligned}$$

То есть

$$\boxed{ \nabla^2A(\eta) = \operatorname{Cov}_\eta(T(X)) \succeq0 }.$$

Вот почему $A$ выпукла. Её градиент переводит натуральные координаты $\eta$ в координаты средних

$$\mu = \mathbb E_\eta[T(X)],$$

а кривизна сообщает, насколько чувствительны эти средние к сдвигу параметров.

Та же механика видна через скор-функцию по натуральному параметру:

$$\nabla_\eta\log p(X\mid\eta) = T(X)-\nabla A(\eta).$$

Её ожидание равно нулю, а ковариация равна

$$\mathcal I(\eta) = \operatorname{Cov}_\eta(T(X)) = \nabla^2A(\eta),$$

то есть гессиан лог-нормировки одновременно является информацией Фишера в натуральных координатах. Геометрический смысл этой формулы мы подробно разберём в M15.

Есть и ещё одно точное тождество. Для двух распределений одного экспоненциального семейства:

$$\begin{aligned} D_{\mathrm{KL}} \bigl( p(\cdot\mid\eta) \|p(\cdot\mid\xi) \bigr) &= A(\xi)-A(\eta) -\nabla A(\eta)^\top(\xi-\eta). \end{aligned}$$

Правая часть — дивергенция Брэгмана, порождённая $A$, с определённым порядком аргументов. Поэтому выпуклая геометрия лог-нормировки и KL-геометрия семейства — не аналогия, а одна формула.

Двойственность с MaxEnt

Положим

$$A^*(\mu) = \sup_\eta \{\eta^\top\mu-A(\eta)\}.$$

Если $\mu$ лежит во внутренности допустимого пространства средних и уравнение

$$\nabla A(\eta)=\mu$$

имеет решение, то

$$A^*(\mu) = \eta^\top\mu-A(\eta).$$

С другой стороны, максимум энтропии относительно базовой меры $h(x)d\nu(x)$ при ограничении $\mathbb E_q[T]=\mu$ равен

$$\max_{q:\,\mathbb E_qT=\mu} \left\{ -\int q(x) \log\frac{q(x)}{h(x)} \,d\nu(x) \right\} = A(\eta)-\eta^\top\mu = -A^*(\mu).$$

Если $h$ нормирована и задаёт плотность базового распределения $m$, эта цель равна $-D_{\mathrm{KL}}(q\|m)$; для ненормированной $h$ её естественнее читать как энтропию относительно базовой меры.

Именно здесь MaxEnt и экспоненциальное семейство действительно сходятся: ограничения задают координату $\mu$, множители Лагранжа становятся натуральным параметром $\eta$, а $A$ связывает две системы координат. Это глубокая связь, но она не означает, что любое произвольно выбранное подсемейство автоматически является решением любой MaxEnt-задачи.

Как читать каноническую форму на дискретных распределениях

Полезнее не заучивать таблицу, а каждый раз выполнять одну операцию: раскрыть логарифм вероятности и собрать коэффициенты при функциях от наблюдения.

Бернулли: логит появляется из алгебры

Для $X\in\{0,1\}$:

$$p(x\mid p) = p^x(1-p)^{1-x}.$$

Берём логарифм:

$$\begin{aligned} \log p(x\mid p) &= x\log p+(1-x)\log(1-p)\\ &= x\log\frac{p}{1-p} +\log(1-p). \end{aligned}$$

Вводим натуральный параметр

$$\eta = \log\frac{p}{1-p}.$$

Поскольку $p=e^\eta/(1+e^\eta)$,

$$\log(1-p) = -\log(1+e^\eta).$$

Получаем

$$\boxed{ p(x\mid\eta) = \exp\bigl( \eta x-\log(1+e^\eta) \bigr) }.$$

Значит,

$$T(x)=x, \qquad A(\eta)=\log(1+e^\eta).$$

Производные немедленно возвращают знакомые величины:

$$A'(\eta)=\sigma(\eta)=p, \qquad A''(\eta)=p(1-p).$$

Логистическая функция здесь не приклеена к распределению извне. Она является отображением из натурального параметра в средний параметр.

Категориальное распределение: softmax и избыточность логитов

Пусть $X\in\{1,\ldots,K\}$ и вероятности классов равны $\pi_1,\ldots,\pi_K$. Выберем $K$-й класс опорным и положим

$$T_j(x)=\mathbf1\{x=j\}, \qquad \eta_j = \log\frac{\pi_j}{\pi_K}, \quad j=1,\ldots,K-1.$$

Тогда

$$A(\eta) = \log \left( 1+\sum_{j=1}^{K-1}e^{\eta_j} \right),$$

а

$$p(X=j\mid\eta) = \frac{e^{\eta_j}} {1+\sum_{r=1}^{K-1}e^{\eta_r}}, \qquad j<K,$$ $$p(X=K\mid\eta) = \frac1 {1+\sum_{r=1}^{K-1}e^{\eta_r}}.$$

Это минимальная параметризация. Привычный softmax с $K$ логитами использует избыточную форму

$$p(X=k\mid z) = \frac{e^{z_k}}{\sum_re^{z_r}},$$

потому что $z$ и $z+c\mathbf1$ задают одно распределение. Производная logsumexp даёт вектор вероятностей, а гессиан — ковариационную матрицу one-hot-вектора.

Пуассон: базовая мера хранит факториал

Для $X\in\{0,1,2,\ldots\}$:

$$p(x\mid\lambda) = e^{-\lambda}\frac{\lambda^x}{x!}.$$

Логарифм равен

$$\log p(x\mid\lambda) = x\log\lambda-\lambda-\log x!.$$

Следовательно,

$$T(x)=x, \qquad \eta=\log\lambda, \qquad h(x)=\frac1{x!}, \qquad A(\eta)=e^\eta.$$

Поэтому

$$A'(\eta)=A''(\eta)=e^\eta=\lambda.$$

Равенство среднего и дисперсии распределения Пуассона теперь видно непосредственно из производных $A$. Натуральный параметр $\eta=\log\lambda$ одновременно объясняет стандартную логарифмическую функцию связи (log link) в пуассоновской регрессии: линейный предиктор может принимать любые действительные значения, а интенсивность $\lambda=e^\eta$ остаётся положительной.

Здесь легко сделать слишком сильный вывод. Обычный MaxEnt на неотрицательных целых при единственном ограничении $\mathbb E[X]=\lambda$ и считающей базовой мере даёт геометрическое, а не пуассоновское распределение. Для Пуассона существенна относительная база

$$h(x)=\frac1{x!}.$$

Иными словами, одинаковая статистика $T(x)=x$ ещё не определяет семейство: носитель и базовая мера участвуют в ответе наравне с ограничением.

Биномиальное распределение возникает как закон суммы $n$ независимых переменных Бернулли:

$$p(x) = \binom nx \exp\bigl( \eta x-n\log(1+e^\eta) \bigr).$$

Комбинаторный множитель $\binom nx$ переходит в $h(x)$, а натуральный параметр остаётся логитом вероятности успеха. Мультиномиальное распределение устроено аналогично: достаточной статистикой становится вектор чисел наблюдений каждого класса.

Непрерывные семейства: носитель меняет допустимые параметры

В непрерывном случае особенно важно не потерять носитель. Он входит либо в базовую меру, либо в индикатор внутри $h(x)$ и определяет, для каких $\eta$ нормировочный интеграл конечен.

Экспоненциальное распределение

Для скорости $\lambda>0$:

$$p(x\mid\lambda) = \lambda e^{-\lambda x} \mathbf1\{x\ge0\}.$$

Положим

$$T(x)=x, \qquad \eta=-\lambda<0, \qquad h(x)=\mathbf1\{x\ge0\}.$$

Тогда

$$A(\eta) = -\log(-\eta), \qquad \eta<0,$$

и

$$A'(\eta) = -\frac1\eta = \frac1\lambda,$$ $$A''(\eta) = \frac1{\eta^2} = \frac1{\lambda^2}.$$

Натуральное пространство не является всей прямой: при $\eta\ge0$ интеграл на $[0,\infty)$ расходится. Это простой пример того, почему область $A(\eta)<\infty$ является частью модели, а не техническим приложением.

Гамма-распределение

Пусть используются параметр формы $\alpha>0$ и параметр скорости $\beta>0$:

$$p(x\mid\alpha,\beta) = \frac{\beta^\alpha}{\Gamma(\alpha)} x^{\alpha-1}e^{-\beta x} \mathbf1\{x>0\}.$$

Собираем зависящие от $x$ функции:

$$T(x) = \begin{pmatrix} \log x\\ x \end{pmatrix}, \qquad \eta = \begin{pmatrix} \alpha-1\\ -\beta \end{pmatrix}.$$

При $h(x)=\mathbf1\{x>0\}$:

$$A(\eta) = \log\Gamma(\eta_1+1) -(\eta_1+1)\log(-\eta_2),$$

где

$$\eta_1>-1, \qquad \eta_2<0.$$

Градиент возвращает не только обычное среднее:

$$\frac{\partial A}{\partial\eta_1} = \mathbb E[\log X] = \psi(\alpha)-\log\beta,$$ $$\frac{\partial A}{\partial\eta_2} = \mathbb E[X] = \frac\alpha\beta,$$

где $\psi$ — дигамма-функция. Экспоненциальное распределение является одномерным срезом гамма-семейства при $\alpha=1$.

Этот пример важен педагогически: «согласование моментов» в экспоненциальном семействе означает согласование средних достаточных статистик. Одной из них может быть $\log X$, а не обычная степень $X$.

Гауссовское семейство с неизвестными средним и дисперсией

Раскроем квадрат в логарифме плотности:

$$\begin{aligned} \log p(x\mid\mu,\sigma^2) &= -\frac12\log(2\pi\sigma^2) -\frac{(x-\mu)^2}{2\sigma^2}\\ &= \frac\mu{\sigma^2}x -\frac1{2\sigma^2}x^2 -\left( \frac{\mu^2}{2\sigma^2} +\frac12\log(2\pi\sigma^2) \right). \end{aligned}$$

Поэтому можно взять

$$T(x) = \begin{pmatrix} x\\x^2 \end{pmatrix}, \qquad \eta_1 = \frac\mu{\sigma^2}, \qquad \eta_2 = -\frac1{2\sigma^2}<0,$$

и

$$A(\eta) = -\frac{\eta_1^2}{4\eta_2} + \frac12\log\left(-\frac\pi{\eta_2}\right).$$

Производные дают

$$\frac{\partial A}{\partial\eta_1} = \mu,$$ $$\frac{\partial A}{\partial\eta_2} = \mu^2+\sigma^2 = \mathbb E[X^2].$$

То есть координаты средних — это первый и второй моменты, а не непосредственно $\mu$ и $\sigma^2$. Дисперсия восстанавливается как

$$\sigma^2 = \mathbb E[X^2]-\mathbb E[X]^2.$$

Если дисперсия заранее фиксирована, остаётся одномерный экспоненциальный срез с достаточной статистикой $T(x)=x$.

Бета- и Дирихле-распределения

Для $0<x<1$:

$$p(x\mid\alpha,\beta) = \frac{x^{\alpha-1}(1-x)^{\beta-1}} {B(\alpha,\beta)}.$$

Канонические компоненты:

$$T(x) = \begin{pmatrix} \log x\\ \log(1-x) \end{pmatrix}, \qquad \eta = \begin{pmatrix} \alpha-1\\ \beta-1 \end{pmatrix},$$ $$A(\eta) = \log B(\eta_1+1,\eta_2+1), \qquad \eta_1,\eta_2>-1.$$

Здесь средние координаты равны

$$\mathbb E[\log X] = \psi(\alpha)-\psi(\alpha+\beta),$$ $$\mathbb E[\log(1-X)] = \psi(\beta)-\psi(\alpha+\beta).$$

Среднее $\alpha/(\alpha+\beta)$ важно для интерпретации, но именно средние логарифмов входят в уравнения согласования достаточных статистик при оценке обоих параметров.

Распределение Дирихле переносит ту же конструкцию на симплекс:

$$T_k(x)=\log x_k, \qquad \eta_k=\alpha_k-1.$$

Поэтому бета- и Дирихле-распределения естественно появляются там, где случайным объектом является вероятность, доля или вектор вероятностей.

Как эти семейства становятся выходными распределениями в ML

Для практики полезно перевести каноническую запись в язык выходного слоя модели. Для одного наблюдения отрицательное логарифмическое правдоподобие любого семейства в канонической форме равно

$$-\log p(y\mid\eta) = A(\eta)-\eta^\top T(y)-\log h(y),$$

а его градиент по натуральному параметру имеет особенно знакомый вид:

$$\nabla_\eta[-\log p(y\mid\eta)] = \mathbb E_\eta[T(Y)]-T(y).$$

Модель снова сравнивает предсказанные средние достаточных статистик с тем, что произошло в данных. Конкретное распределение определяет, какие именно статистики и ограничения стоят за этой общей формулой.

Эта таблица не предписывает одну параметризацию. Сеть может выдавать натуральный параметр напрямую, преобразовывать свободный выход через softplus или использовать более интерпретируемые координаты вроде среднего и дисперсии. Важно другое: преобразование должно попадать в допустимую область распределения, а функция потерь должна соответствовать той вероятностной гипотезе, которую мы действительно хотим сделать.

Не нужно запоминать все нормировочные функции наизусть. Рабочий навык состоит в другом: раскрыть лог-плотность, определить носитель, найти функции $T(x)$, собрать их коэффициенты в $\eta$ и проверить, при каких параметрах интеграл конечен.

i.i.d.-выборка и достаточная статистика

Для независимых наблюдений $x_{1:n}$:

$$\begin{aligned} p(x_{1:n}\mid\eta) &= \prod_{i=1}^n h(x_i) \exp\bigl( \eta^\top T(x_i)-A(\eta) \bigr)\\ &= \left[\prod_{i=1}^nh(x_i)\right] \exp\left( \eta^\top\sum_{i=1}^nT(x_i) -nA(\eta) \right). \end{aligned}$$

Вся зависимость правдоподобия от $\eta$ проходит через

$$\boxed{ T_n = \sum_{i=1}^nT(X_i) }.$$

По теореме факторизации $T_n$ является достаточной статистикой. Конкретный вид сжатия зависит от семейства.

• Бернулли: число единиц $\sum_iX_i$.
• Категориальное распределение: вектор чисел объектов каждого класса.
• Пуассон: сумма счётчиков $\sum_iX_i$.
• Гауссовское семейство с неизвестными $\mu$ и $\sigma^2$: пара $\left(\sum_iX_i,\sum_iX_i^2\right)$.
• Гамма-семейство с неизвестными формой и скоростью: $\left(\sum_i\log X_i,\sum_iX_i\right)$.
• Бета-семейство с неизвестными $\alpha$ и $\beta$: $\left(\sum_i\log X_i,\sum_i\log(1-X_i)\right)$.

Смысл достаточности очень конкретен: условное распределение исходной выборки при фиксированном $T_n$ не зависит от $\eta$. После вычисления статистики сырые наблюдения не добавляют информации о параметре внутри принятой модели.

Последние слова существенны. Порядок наблюдений, выбросы, мультимодальность или систематическая зависимость могут быть не нужны для оценки параметра внутри семейства, но именно они способны показать, что само i.i.d.-семейство выбрано плохо. Достаточная статистика сжимает данные относительно заданного вопроса; она не является универсальным без потерь представлением набора данных.

Максимальное правдоподобие как согласование средних статистик

Среднее логарифмическое правдоподобие имеет вид

$$\frac1n\log p(x_{1:n}\mid\eta) = \eta^\top\overline T -A(\eta) + \frac1n\sum_i\log h(x_i),$$

где

$$\overline T = \frac1n\sum_iT(x_i).$$

С точностью до части, не зависящей от $\eta$, среднее отрицательное логарифмическое правдоподобие равно

$$\mathcal L_n(\eta) = A(\eta)-\eta^\top\overline T.$$

Её градиент:

$$\boxed{ \nabla\mathcal L_n(\eta) = \mathbb E_\eta[T(X)]-\overline T }.$$

Гессиан:

$$\nabla^2\mathcal L_n(\eta) = \operatorname{Cov}_\eta(T(X)) \succeq0.$$

Если семейство минимально и существует конечный внутренний максимум правдоподобия, то

$$\boxed{ \mathbb E_{\widehat\eta}[T(X)] = \overline T }.$$

Это точная область знаменитого согласования моментов (moment matching). Но слово «моменты» здесь легко прочитать слишком узко. Речь идёт о средних достаточных статистик:

• для Бернулли получается $\widehat p=\overline x$;
• для Пуассона — $\widehat\lambda=\overline x$;
• для категориального распределения модельные вероятности совпадают с частотами классов;
• для полного гауссовского семейства согласуются первый и второй эмпирические моменты;
• для бета- и гамма-семейств уравнения включают средние логарифмов и обычно решаются численно.

Когда конечного решения нет

Выпуклая форма не гарантирует, что оптимум лежит в конечной точке натурального пространства.

• Если все наблюдения Бернулли равны единице, MLE даёт $\widehat p=1$, но натуральный параметр $\widehat\eta$ стремится к $+\infty$.
• Если в категориальной выборке класс не встретился, соответствующая оценка вероятности лежит на границе, а минимальный логарифм отношения шансов стремится к $-\infty$.
• При линейной разделимости в условной логистической регрессии конечный нерегуляризованный MLE может отсутствовать.
• Регуляризация меняет условие стационарности, поэтому точное согласование эмпирических и модельных статистик дополняется градиентом штрафа.
• В кривом экспоненциальном семействе, где $\eta$ ограничен нелинейным подмногообразием меньшей размерности, все координаты $T$ вообще не обязаны согласовываться независимо.

Эти случаи не опровергают геометрию семейства. Они показывают, что нужно различать существование распределения, существование конечного натурального параметра и существование внутреннего MLE.

Теорема Питмана—Купмана—Дармуа

До сих пор мы шли от экспоненциальной формы к достаточной статистике. Теорема Питмана—Купмана—Дармуа (Pitman–Koopman–Darmois, PKD) при стандартных регулярных условиях движется в обратную сторону:

Для регулярного доминируемого i.i.d.-семейства с общим носителем, не зависящим от параметра, существование достаточной статистики, размерность которой остаётся ограниченной при росте $n$, резко ограничивает модель и приводит к конечномерной экспоненциальной форме.

Это структурная теорема, а не рецепт выбора распределения. Её условия выполняют реальную работу.

Например,

$$X_i\sim\operatorname{Uniform}(0,\theta)$$

имеет одномерную достаточную статистику

$$\max_iX_i,$$

но носитель $[0,\theta]$ зависит от параметра. Поэтому стандартная PKD-теорема к этому семейству неприменима.

Оговорки нужны и в других нерегулярных случаях: при параметр-зависимом носителе, вырожденных моделях, некоторых дискретных постановках и нарушении гладкости простая формулировка может требовать уточнения. Правильный вывод не в том, что «любая достаточная статистика доказывает экспоненциальность», а в том, что при регулярной i.i.d.-структуре сжатие выборки до фиксированного числа координат является крайне сильным свойством.

Три связи, а не одна теорема

Теперь можно собрать картину без лишнего слияния терминов.

1. MaxEnt / информационная проекция. Оптимизация по всем распределениям при ограничениях на средние $T(X)$ даёт экспоненциальный наклон базы.
2. Экспоненциальное семейство. Параметрический класс заранее имеет форму $h(x)e^{\eta^\top T(x)-A(\eta)}$; $A$ переводит натуральные параметры в средние и задаёт KL-геометрию класса.
3. Достаточность / PKD. Для i.i.d.-выборки сумма $\sum_iT(X_i)$ достаточна, а при регулярности существование статистики фиксированной размерности тесно связано с экспоненциальной формой.

Одна и та же статистика $T(x)$ действительно играет во всех трёх историях заметную роль. Именно поэтому связь настолько плодотворна для ML: она объединяет вероятностные головы, выпуклые функции потерь, согласование статистик и компактное представление данных для оценки параметров.

Но границы тоже важны. MaxEnt не доказывает PKD; PKD не утверждает, что любое удобное ML-распределение выбрано принципом максимальной энтропии; принадлежность головы к экспоненциальному семейству не делает всю глубокую сеть экспоненциальным семейством по её весам.

Рабочий навык после этого раздела можно сформулировать просто:

Не запоминайте экспоненциальное семейство как список распределений. Учитесь читать лог-плотность: носитель и база, достаточные статистики, натуральные параметры, лог-нормировка и область, где она конечна.

8.12. Заключение

Мы начали с ситуации, в которой нескольких известных средних недостаточно, чтобы восстановить распределение. MaxEnt не добавил недостающие факты и не угадал скрытую истину. Он сделал более скромную и более полезную вещь: выбрал ближайшее к базе распределение среди тех, которые действительно согласуются с известными ограничениями.

Центральная конструкция модуля имеет вид

$$\boxed{ q^*(x) \propto m(x)e^{s(x)} }.$$

В разных разделах менялся смысл двух компонентов:

Эта таблица объясняет единство модуля лучше любого лозунга. Ограничения, оценки, энергии и награды входят в логарифм вероятности аддитивно; после экспоненцирования они перераспределяют массу мультипликативно; нормировочная константа собирает локальные предпочтения в одно распределение.

Но одинаковая алгебра не стирает различия между задачами. В MaxEnt мы оптимизируем по распределениям при заданных моментах. В EBM энергия может быть произвольной нейросетью без явной системы физических ограничений. В DPO аналитическая Gibbs-форма входит в вывод функции потерь, но реальная политика остаётся ограниченной параметризацией и данными. KL удерживает распределение рядом с базой, однако не проверяет истинность награды.

Именно такой баланс и нужен дальше: видеть общую конструкцию достаточно ясно, чтобы переносить интуицию, и одновременно помнить условия, без которых перенос превращается в метафору.

В Модуле 9 мы сменим объект оптимизации. Вместо вопроса «какое распределение выбрать?» появится вопрос «какое представление сохранить?». Information Bottleneck, rate–distortion и вариационные автоэнкодеры снова сведут обучение к обмену между двумя требованиями — количеством сохранённой информации и ценой её передачи.

Основные источники

1. E. T. Jaynes, «Information Theory and Statistical Mechanics», 1957, и Part II, Physical Review 108, 171.
2. A. Berger, S. Della Pietra, V. Della Pietra, «A Maximum Entropy Approach to Natural Language Processing», 1996.
3. J. Lafferty, A. McCallum, F. Pereira, «Conditional Random Fields: Probabilistic Models for Segmenting and Labeling Sequence Data», ICML 2001.
4. M. Wainwright, M. Jordan, «Graphical Models, Exponential Families, and Variational Inference», 2008.
5. Y. LeCun et al., «A Tutorial on Energy-Based Learning», 2006.
6. Y. Song et al., «Score-Based Generative Modeling through Stochastic Differential Equations», 2021.
7. J. Schulman et al., «Proximal Policy Optimization Algorithms», 2017.
8. R. Rafailov et al., «Direct Preference Optimization: Your Language Model Is Secretly a Reward Model», 2023.
9. L. Gao, J. Schulman, J. Hilton, «Scaling Laws for Reward Model Overoptimization», 2022.
10. Y. Polyanskiy, Y. Wu, «Information Theory: From Coding to Learning», 2025, разделы об экспоненциальных семействах и информационной проекции.
11. L. D. Brown, «Fundamentals of Statistical Exponential Families», 1986.