Модуль 4. Неравенство Йенсена: когда среднее встречает нелинейность

Как читать этот модуль. Основной маршрут — §§4.1–4.5. Одна теорема пройдёт через три знакомые ML-конструкции: ансамбли, ELBO и уменьшение KL при укрупнении состояний. Математическое углубление о разрыве Йенсена и дивергенции Брэгмана можно оставить на второй проход. Для перехода к Модулю 5 достаточно понимать направление неравенства, условия равенства и два рабочих следствия — для ансамблей и log-sum inequality.

4.1. Сначала усреднить или сначала посчитать функцию потерь?

В машинном обучении среднее почти никогда не ходит одно. Рядом обычно стоит нелинейность: логарифм, экспонента, квадрат, softmax или logsumexp. И тогда порядок операций начинает иметь значение.

Возьмём самый короткий пример. Две модели назначили правильному классу вероятности

$$q_1(y\mid x)=0.9, \qquad q_2(y\mid x)=0.1.$$

Средний NLL моделей равен

$$\frac{-\ln 0.9-\ln 0.1}{2} \approx 1.204\ \text{ната}.$$

Если сначала усреднить вероятности, получим $0.5$, а затем

$$-\ln 0.5\approx0.693\ \text{ната}.$$

Ни одна из исходных моделей не стала лучше. Мы лишь поменяли порядок действий:

$$-\log\left(\frac{q_1+q_2}{2}\right) \qquad\text{вместо}\qquad \frac{-\log q_1-\log q_2}{2}.$$

Разница возникает из-за кривизны функции $-\log u$. Тот же сюжет повторяется в гораздо более серьёзных местах:

• ансамбль сначала смешивает предсказания, а затем получает логарифмический счёт;
• модель с латентной переменной сначала суммирует или интегрирует скрытые объяснения, а затем берёт логарифм;
• обработка данных объединяет состояния, а затем мы сравниваем укрупнённые распределения по KL;
• усреднение логитов проходит через выпуклую функцию logsumexp.

Во всех случаях вопрос один:

$$\phi(\mathbb E X) \qquad\text{или}\qquad \mathbb E[\phi(X)]?$$

Неравенство Йенсена — это компас для ситуаций, где мы пытаемся протащить среднее через нелинейность. Оно показывает направление изменения; разрыв Йенсена показывает цену такой перестановки.

Если не оговорено иное, в модуле используются натуральные логарифмы. Смена основания лишь умножает все логарифмические величины на положительную константу и не меняет направления неравенств.

4.2. Неравенство Йенсена: направление задаёт кривизна

От хорды к случайной величине

Пусть $C\subseteq\mathbb R^d$ — выпуклое множество. Функция $\phi:C\to\mathbb R$ называется выпуклой, если для любых $x_1,x_2\in C$ и $\lambda\in[0,1]$

$$\phi\bigl(\lambda x_1+(1-\lambda)x_2\bigr) \le \lambda\phi(x_1)+(1-\lambda)\phi(x_2).$$

Геометрически это означает: хорда между двумя точками графика лежит не ниже графика. Для вогнутой функции знак разворачивается.

Взвешенная версия для нескольких точек имеет вид

$$\phi\left(\sum_{j=1}^M\lambda_jx_j\right) \le \sum_{j=1}^M\lambda_j\phi(x_j), \qquad \lambda_j\ge0, \quad \sum_j\lambda_j=1.$$

Переход от конечной смеси к случайной величине даёт привычную форму Йенсена. Если ожидания существуют и $X$ принимает значения в $C$, то

$$\boxed{ \phi(\mathbb E[X]) \le \mathbb E[\phi(X)] }.$$

Для вогнутой $\phi$

$$\boxed{ \phi(\mathbb E[X]) \ge \mathbb E[\phi(X)] }.$$

Вот четыре функции, которые будут постоянно возвращаться в курсе:

Квадрат даёт самый знакомый частный случай:

$$(\mathbb E X)^2\le\mathbb E[X^2],$$

или, что то же самое,

$$\operatorname{Var}(X) = \mathbb E[X^2]-(\mathbb E X)^2 \ge0.$$

Короткое доказательство, которое стоит увидеть один раз

Пусть $\phi$ дифференцируема и выпукла, а

$$m=\mathbb E X.$$

Касательная плоскость к выпуклой функции является глобальной нижней опорой:

$$\phi(x) \ge \phi(m)+\nabla\phi(m)^\top(x-m).$$

Берём ожидание обеих частей:

$$\begin{aligned} \mathbb E[\phi(X)] &\ge \phi(m)+\nabla\phi(m)^\top(\mathbb E X-m)\\ &=\phi(m). \end{aligned}$$

Линейный член исчезает именно потому, что касательная проведена в среднем $m$. Вот и вся механика. В общей недифференцируемой постановке ту же роль играет опорный субградиент; для наших ML-применений дифференцируемой версии достаточно.

Когда неравенство становится равенством

Если $\phi$ строго выпукла на выпуклой оболочке существенного носителя $X$, то

$$\phi(\mathbb E X)=\mathbb E\phi(X)$$

возможно только тогда, когда $X$ почти наверное постоянна. В конечной смеси с положительными весами это означает: все аргументы, которые действительно участвуют в смеси, совпадают.

Для нестрого выпуклой функции возможны и нетривиальные случаи равенства — например, когда весь носитель лежит на участке, где функция аффинна.

Это условие не является технической сноской. Оно отвечает на практический вопрос: когда усреднение действительно что-то меняет? Если модели выдают одинаковый релевантный аргумент, Йенсен не создаёт выигрыша; если аргументы различаются и функция изгибается, возникает ненулевой разрыв.

Математическое углубление: разрыв, кривизна и дивергенция Брэгмана

Для выпуклой $\phi$ определим разрыв Йенсена

$$J_\phi(X) := \mathbb E\phi(X)-\phi(\mathbb E X) \ge0.$$

Если $X$ — скалярная случайная величина, сосредоточенная около $m=\mathbb E X$, а $\phi$ дважды дифференцируема, разложение Тейлора даёт локальную оценку

$$J_\phi(X) \approx \frac12\phi''(m)\operatorname{Var}(X).$$

В многомерном случае аналогичная формула имеет вид

$$J_\phi(X) \approx \frac12 \operatorname{tr} \left( \nabla^2\phi(m)\operatorname{Cov}(X) \right).$$

Эта формула даёт полезную инженерную интуицию: эффект усреднения требует одновременно разброса аргументов и кривизны функции в соответствующих направлениях. Поэтому лозунг «чем разнообразнее модели, тем лучше ансамбль» слишком груб. Важен разброс их предсказаний именно там, где функция потерь имеет существенную кривизну.

Для дифференцируемой выпуклой функции введём дивергенцию Брэгмана

$$D_\phi(x,m) = \phi(x)-\phi(m)-\nabla\phi(m)^\top(x-m).$$

Тогда линейный член снова исчезает после усреднения:

$$\boxed{ J_\phi(X) = \mathbb E D_\phi(X,\mathbb E X) }.$$

При $\phi(x)=x^2/2$ правая часть равна $\operatorname{Var}(X)/2$. Так разрыв Йенсена можно читать как среднюю «криволинейную дистанцию» от случайного аргумента до его среднего. Эта связь полезна, но для дальнейшего основного маршрута не обязательна.

4.3. Ансамбли: точная гарантия для log-loss

Пусть $M$ моделей выдают распределения

$$q_1(y\mid x),\ldots,q_M(y\mid x),$$

а веса $\lambda_j\ge0$ суммируются в единицу. Есть как минимум два естественных способа построить ансамбль — и это разные модели.

Смешивание вероятностей

Определим арифметическую смесь

$$q_{\mathrm{mix}}(y\mid x) = \sum_{j=1}^M\lambda_jq_j(y\mid x).$$

Для целевой метки $y$ функция $-\log u$ строго выпукла, поэтому

$$\boxed{ -\log q_{\mathrm{mix}}(y\mid x) \le \sum_{j=1}^M \lambda_j[-\log q_j(y\mid x)] }.$$

Это сильнее, чем утверждение о среднем качестве на тестовой выборке: неравенство выполняется для каждого отдельного примера. После усреднения по набору данных оно, конечно, сохраняется.

Равенство достигается тогда, когда все модели с положительным весом назначают целевому классу одну и ту же вероятность. Полные распределения при этом могут различаться: для per-example NLL важна только координата правильного класса.

Формула гарантирует сравнение со средним участником, но не с лучшим. Она также не обещает автоматически повысить top-1 accuracy, улучшить калибровку на любом распределении или защитить от сдвига данных. Это не слабость результата, а его точная область действия: для фиксированных предсказаний смесь вероятностей не хуже среднего участника по log-loss.

Усреднение логитов

Пусть

$$q_j=\operatorname{softmax}(z_j)$$

и усредняются не вероятности, а логиты:

$$\bar z = \sum_j\lambda_jz_j.$$

Кросс-энтропийная потеря для класса $y$ равна

$$\ell(z,y) = \operatorname{LSE}(z)-z_y, \qquad \operatorname{LSE}(z)=\log\sum_k e^{z_k}.$$

logsumexp выпукла, а вычитание линейного члена не меняет выпуклость. Поэтому

$$\boxed{ \ell(\bar z,y) \le \sum_j\lambda_j\ell(z_j,y) }.$$

И здесь ансамбль не хуже среднего участника по NLL. Но его распределение уже не является арифметической смесью. Из определения softmax следует

$$\operatorname{softmax}(\bar z)_k = \frac{ \prod_j q_j(k)^{\lambda_j} }{ \sum_r\prod_jq_j(r)^{\lambda_j} }.$$

То есть усреднение логитов строит нормированное геометрическое среднее распределений, также известное как логарифмический пул (logarithmic opinion pool).

Полезно почувствовать разницу.

• Арифметическая смесь терпима к разногласиям: высокой вероятности одного участника может быть достаточно, чтобы класс сохранил заметную массу.
• Геометрическая смесь требует большего согласия: очень малая вероятность у одного участника сильнее подавляет класс.

Для конечных логитов равенство в логитном неравенстве возникает, в частности, когда все модели задают одно и то же softmax-распределение, то есть их логиты отличаются лишь общей добавочной константой.

Ни один способ не побеждает всегда

Рассмотрим два примера с правильным классом $1$ и равными весами.

В первом примере лучше арифметическая смесь, во втором — геометрическая. Оба ансамбля выполняют свою гарантию Йенсена, но универсального порядка между ними нет.

Практическая деталь: это две разные строки кода

Если модели уже дали логиты, вероятностную смесь лучше считать в логарифмическом пространстве:

import torch
import torch.nn.functional as F

# logits: [num_models, num_classes]
# weights: [num_models], positive and summing to one
# target: scalar class index
log_probs = F.log_softmax(logits, dim=-1)
log_weights = weights.log()

# Arithmetic mixture of probabilities, computed stably.
log_q_mix = torch.logsumexp(
    log_probs + log_weights[:, None], dim=0
)
loss_probability_mix = -log_q_mix[target]

# Averaging logits gives a normalized geometric pool.
mean_logits = (weights[:, None] * logits).sum(dim=0)
loss_logit_mix = F.cross_entropy(
    mean_logits[None, :],
    torch.tensor([target], device=logits.device),
)

Среднее логитов нельзя использовать как численно удобную замену среднему вероятностей: оно реализует другую операцию и может дать другой ответ.

4.4. ELBO: логарифм стоит снаружи скрытых объяснений

В модели с латентной переменной наблюдение $x$ может иметь много скрытых объяснений $z$. Маргинальное правдоподобие складывает их:

$$p_\theta(x) = \int p_\theta(x,z)\,dz.$$

Для обучения нужен логарифм

$$\log p_\theta(x) = \log\int p_\theta(x,z)\,dz,$$

но интеграл часто трудно вычислить. Проблема снова имеет знакомую форму: логарифм стоит после суммирования по скрытым состояниям.

Введём вариационное распределение $q_\phi(z\mid x)$, положительное там, где $p_\theta(x,z)>0$. Тогда

$$\begin{aligned} \log p_\theta(x) &= \log\int q_\phi(z\mid x) \frac{p_\theta(x,z)}{q_\phi(z\mid x)}\,dz\\ &= \log\mathbb E_{q_\phi(z\mid x)} \left[ \frac{p_\theta(x,Z)}{q_\phi(Z\mid x)} \right]. \end{aligned}$$

Логарифм вогнут, поэтому Йенсен разворачивает знак:

$$\boxed{ \log p_\theta(x) \ge \mathbb E_{q_\phi(z\mid x)} \left[ \log p_\theta(x,Z)-\log q_\phi(Z\mid x) \right] }.$$

Правая часть называется нижней границей свидетельства (evidence lower bound, ELBO):

$$\operatorname{ELBO}(x) := \mathbb E_{q_\phi(z\mid x)} \left[ \log p_\theta(x,Z)-\log q_\phi(Z\mid x) \right].$$

Здесь Йенсен не просто доказывает существование какой-то границы. Он превращает трудный логарифм интеграла в ожидание, которое можно оценивать сэмплами из $q_\phi$ и оптимизировать стохастическим градиентом.

Разрыв известен точно

Используем

$$p_\theta(z\mid x) = \frac{p_\theta(x,z)}{p_\theta(x)}.$$

Тогда

$$\begin{aligned} \log p_\theta(x)-\operatorname{ELBO}(x) &= \mathbb E_{q_\phi} \left[ \log\frac{q_\phi(Z\mid x)}{p_\theta(Z\mid x)} \right]\\ &= D_{\mathrm{KL}} \bigl( q_\phi(z\mid x) \|p_\theta(z\mid x) \bigr). \end{aligned}$$

Итак,

$$\boxed{ \log p_\theta(x) = \operatorname{ELBO}(x) + D_{\mathrm{KL}} \bigl(q_\phi(z\mid x)\|p_\theta(z\mid x)\bigr) }.$$

Теперь условие равенства Йенсена получает вероятностный смысл. Вес

$$W(z) = \frac{p_\theta(x,z)}{q_\phi(z\mid x)}$$

должен быть постоянным при $z\sim q_\phi$. Это происходит тогда и только тогда, когда

$$q_\phi(z\mid x)=p_\theta(z\mid x)$$

почти всюду: в этом случае $W(z)=p_\theta(x)$ и граница становится точной.

Небольшой дискретный пример

Для фиксированного $x$ пусть

$$p(x,z=0)=0.09, \qquad p(x,z=1)=0.01.$$

Тогда

$$p(x)=0.1, \qquad p(z\mid x)=(0.9,0.1).$$

Возьмём грубое приближение

$$q(z\mid x)=(0.5,0.5).$$

Получаем

$$\log p(x)=\ln0.1\approx-2.303,$$ $$\operatorname{ELBO}(x) = \frac12\ln\frac{0.09}{0.5} + \frac12\ln\frac{0.01}{0.5} \approx-2.813.$$

Разрыв равен

$$-2.303-(-2.813) \approx0.511\ \text{ната},$$

и в точности совпадает с

$$D_{\mathrm{KL}}\bigl((0.5,0.5)\|(0.9,0.1)\bigr).$$

Число $0.511$ здесь не «штраф, добавленный вручную». Это точная цена несовпадения выбранного $q$ с истинным апостериорным распределением.

Форма, знакомая по VAE

Если совместное распределение факторизуется как

$$p_\theta(x,z)=p(z)p_\theta(x\mid z),$$

то ELBO переписывается как

$$\boxed{ \operatorname{ELBO}(x) = \mathbb E_{q_\phi(z\mid x)} [\log p_\theta(x\mid z)] - D_{\mathrm{KL}} \bigl(q_\phi(z\mid x)\|p(z)\bigr) }.$$

Первое слагаемое обычно называют реконструкционным, хотя математически это ожидаемое условное log-likelihood и его конкретная форма зависит от декодера. Второе сравнивает приближённое апостериорное распределение с априорным распределением (prior). Оно возникает из вероятностного разложения, а не как внешняя регуляризация, приклеенная к функции потерь.

Положительный результат уже достаточно силён:

• максимизация ELBO повышает вычислимую нижнюю границу на $\log p_\theta(x)$;
• точность границы определяется KL до истинного апостериорного распределения;
• более выразительное семейство $q_\phi$ может уменьшить лучший достижимый вариационный разрыв.

Граница утверждения тоже важна. Более высокая ELBO не гарантирует глобальный оптимум, полезность латентного представления для любой внешней задачи или отсутствие проблем оптимизации. IWAE, амортизационный разрыв и posterior collapse будут естественнее обсуждаться в Модуле 9, где для них уже появится вся VAE-постановка.

4.5. Log-sum inequality: что теряется при объединении состояний

Представьте, что $P$ и $Q$ различаются на четырёх состояниях, а затем мы склеиваем их в две группы. После такого укрупнения у нас стало меньше деталей. Может ли различимость распределений по KL увеличиться?

Ответ — нет. Алгебраический механизм этого факта называется логарифмическим неравенством сумм (log-sum inequality).

Формулировка

Пусть $a_i,b_i\ge0$,

$$A=\sum_i a_i, \qquad B=\sum_i b_i.$$

Используем соглашения

$$0\log\frac0b:=0, \qquad a\log\frac a0:=+\infty\quad(a>0).$$

Тогда

$$\boxed{ \sum_i a_i\log\frac{a_i}{b_i} \ge A\log\frac AB }.$$

Если $A,B>0$ и левая часть конечна, равенство достигается тогда и только тогда, когда совпадают нормированные векторы:

$$\frac{a_i}{A} = \frac{b_i}{B}$$

для всех релевантных $i$. Эквивалентно, отношения $a_i/b_i$ постоянны.

Почему это та же неотрицательность KL

Нормируем последовательности:

$$p_i=\frac{a_i}{A}, \qquad q_i=\frac{b_i}{B}.$$

Тогда

$$\begin{aligned} \sum_i a_i\log\frac{a_i}{b_i} &= A\sum_i p_i \log\frac{Ap_i}{Bq_i}\\ &= A\log\frac AB + A D_{\mathrm{KL}}(P\|Q)\\ &\ge A\log\frac AB. \end{aligned}$$

Log-sum — не отдельный фокус, который нужно запоминать рядом с KL. Это неотрицательность KL после правильной нормировки.

Его можно также вывести напрямую из Йенсена для выпуклой функции $u\log u$, используя веса $b_i/B$. Оба доказательства показывают одну структуру с двух сторон.

Совместная выпуклость KL: смешивание скрывает индекс компонента

Пусть есть пары распределений $(P_j,Q_j)$ и веса $\lambda_j$. Для каждого исхода применим log-sum к

$$a_j=\lambda_jp_j(x), \qquad b_j=\lambda_jq_j(x),$$

а затем просуммируем по $x$. Получим

$$\boxed{ D_{\mathrm{KL}} \left( \sum_j\lambda_jP_j \middle\| \sum_j\lambda_jQ_j \right) \le \sum_j\lambda_jD_{\mathrm{KL}}(P_j\|Q_j) }.$$

Это совместная выпуклость KL.

Формулу полезно прочитать как эксперимент. Сначала выбирается индекс $J=j$, затем исход приходит либо из $P_j$, либо из $Q_j$. Пока индекс $J$ известен, средняя различимость равна правой части. Если индекс скрыть и оставить только смеси, различимость не может вырасти. Смешивание удалило информацию о том, из какого компонента пришёл объект.

При фиксированном $P$ получаем частный случай

$$D_{\mathrm{KL}} \left( P\middle\|\sum_j\lambda_jQ_j \right) \le \sum_j\lambda_jD_{\mathrm{KL}}(P\|Q_j),$$

который снова объясняет гарантию вероятностного ансамбля на уровне распределений.

Укрупнение состояний не увеличивает KL

Пусть детальное состояние $X$ заменяется группой

$$Y=T(X).$$

Для каждой группы $y$ применим log-sum к значениям $p(x)$ и $q(x)$ внутри множества $\{x:T(x)=y\}$. После суммирования по группам получаем

$$\boxed{ D_{\mathrm{KL}}(P_Y\|Q_Y) \le D_{\mathrm{KL}}(P_X\|Q_X) }.$$

Для примера

$$P=(0.4,0.3,0.2,0.1), \qquad Q=(0.1,0.2,0.3,0.4)$$

имеем

$$D(P\|Q)\approx0.4564\ \text{ната}.$$

Объединим первые два и последние два состояния:

$$\bar P=(0.7,0.3), \qquad \bar Q=(0.3,0.7).$$

Теперь

$$D(\bar P\|\bar Q) \approx0.3389\ \text{ната}.$$

Различимость уменьшилась, потому что мы больше не видим, как масса распределена внутри каждой группы.

Условие равенства особенно содержательно. KL сохраняется тогда и только тогда, когда отношение правдоподобий

$$\frac{p(x)}{q(x)}$$

постоянно внутри каждой группы. Эквивалентно, при положительных групповых массах

$$P(X=x\mid Y=y) = Q(X=x\mid Y=y).$$

Зная группу, детальное состояние больше не помогает различить $P$ и $Q$. Это точная алгебраическая форма идеи «сжатие ничего существенного не потеряло». В дальнейшем тот же рисунок приведёт к неравенству обработки данных (Data Processing Inequality) и к достаточным статистикам.

Для произвольного стохастического канала доказательство устроено так же: применяем log-sum к членам $p(x)K(y\mid x)$ и $q(x)K(y\mid x)$. В Модуле 5 эта конструкция станет основой DPI для взаимной информации.

4.6. Одна теорема — четыре рабочих механизма

Теперь полезно собрать маршрут в одну таблицу.

Важна не сама способность узнать слово «Йенсен» внутри очередного доказательства. Важен переносимый вопрос:

Что именно усредняется, какая функция применяется после усреднения и какова её кривизна на нужной области?

Этот вопрос защищает сразу от двух ошибок. Первая — переставить операции как будто линейность сохраняется. Вторая — увидеть выпуклость и сделать слишком сильный вывод о качестве всей системы. Йенсен сравнивает конкретные величины при фиксированной постановке; обобщение, оптимизация и поведение при сдвиге распределения требуют отдельных аргументов.

Дальше аппарат будет возвращаться в более богатых формах:

• в Модуле 5 log-sum станет DPI для KL и взаимной информации;
• в Модуле 8 условия равенства встретятся рядом с достаточными статистиками и экспоненциальными семействами;
• в Модуле 9 ELBO войдёт в VAE, Information Bottleneck и rate–distortion;
• в Модуле 11 выпуклость породит вариационные представления дивергенций;
• в Модуле 12 KL появится как мера сложности в PAC-Bayes.

4.7. Ключевые выводы модуля

1. Для выпуклой функции $$\phi(\mathbb E X)\le\mathbb E\phi(X),$$ а для вогнутой знак меняется.
2. Разрыв возникает из сочетания разброса аргументов и кривизны функции. Усреднение одинаковых предсказаний ничего не даёт.
3. Смесь вероятностей и средние логиты — разные ансамбли. Оба не хуже среднего участника по NLL, но ни один не доминирует другой всегда.
4. ELBO — прямой Йенсен для логарифма маргинального правдоподобия; её точный разрыв равен $D_{\mathrm{KL}}(q(z\mid x)\|p(z\mid x))$.
5. Log-sum — рабочая форма неотрицательности KL. Она объясняет совместную выпуклость и то, почему объединение состояний не может увеличить различимость.
6. Выпуклость даёт точную локальную гарантию для заданных величин. Она не заменяет проверку оптимизации, обобщения, калибровки и качества на целевом распределении.

4.9. Литература и первоисточники

• Boyd & Vandenberghe, Convex Optimization — выпуклые функции, опорные гиперплоскости, logsumexp и неравенство Йенсена.
• Cover & Thomas, Elements of Information Theory — log-sum inequality, совместная выпуклость KL и неравенство обработки данных.
• Kingma & Welling, Auto-Encoding Variational Bayes — вариационная нижняя граница и амортизованный вывод в моделях с непрерывными латентными переменными.
• Lakshminarayanan, Pritzel & Blundell, Simple and Scalable Predictive Uncertainty Estimation Using Deep Ensembles — практический контекст для усреднения вероятностных предсказаний.
• Bregman, The relaxation method of finding the common point of convex sets and its application to the solution of problems in convex programming — исходная конструкция дивергенций Брэгмана.