Модуль 11. Сравнение распределений: f-дивергенции, вариационные критики и расстояние Вассерштейна

Как читать этот модуль. Основной маршрут — §§11.1–11.9. Сначала мы соберём семейство f-дивергенций, затем увидим, как классификатор и вариационный критик восстанавливают отношение плотностей по выборкам. После этого та же механика приведёт к GAN, f-GAN, MINE и InfoNCE. В §11.8 мы сменим точку зрения и добавим геометрию через интегральные вероятностные метрики, расстояние Вассерштейна и методы на основе ядер. §11.10 — математическое углубление про сингулярные части мер, совместную выпуклость и точные условия двойственности; его удобно оставить на второй проход.

11.1. От двух выборок к задаче сравнения распределений

KL-дивергенция была рабочей лошадкой предыдущих модулей. Через неё мы читали кросс-энтропию, взаимную информацию, ELBO, Information Bottleneck, KL-регуляризованную политику и MDL. Но в современной ML-задаче часто возникает более неудобная ситуация: из двух распределений можно получать примеры, а вычислять их плотности нельзя.

Так устроен неявный генератор (implicit generator). Он быстро строит выборку

$$X=G_\theta(Z),$$

но значение $q_\theta(x)$ в отдельной точке обычно недоступно. Поэтому формула

$$D_{\mathrm{KL}}(P\|Q_\theta) = \mathbb E_P\log\frac{p(X)}{q_\theta(X)}$$

остаётся математически осмысленной, но не превращается напрямую в вычислимую функцию потерь.

Представим теперь более простую задачу. Из первого источника приходят значения $a$ и $b$ с вероятностями

$$P=(0.8,0.2),$$

а из второго — с вероятностями

$$Q=(0.2,0.8).$$

Если заранее оба источника равновероятны, оптимальный классификатор источника выдаст

$$\Pr(P\mid a)=0.8, \qquad \Pr(P\mid b)=0.2.$$

Его логиты равны $\log 4$ и $-\log 4$. Это уже подсказка: классификатор не просто различает две выборки — в идеале он кодирует отношение их вероятностей. Точный вывод появится в §11.4.

В реальных задачах эта схема возникает снова и снова:

• данные $P_{\mathrm{data}}$ сравниваются с распределением генератора $Q_\theta$;
• совместное распределение $P_{XY}$ — с произведением маргиналов $P_X\otimes P_Y$ при оценивании MI;
• представления двух групп — в задаче обнаружения сдвига распределения;
• выборки $P$ и $Q$ — в двухвыборочном тестировании;
• базовая и новая политики — при контроле отклонения агента.

Отсюда появляются три отдельных вопроса.

1. Что считать ошибкой между распределениями? Пропущенная масса, лишняя масса и геометрическое смещение — не одно и то же.
2. Как превратить это расхождение в вычислимую цель по выборкам? Здесь появляются классификаторы и вариационные критики.
3. Нужна ли метрика на самом пространстве объектов? f-дивергенции работают с отношениями вероятностей; расстояние Вассерштейна дополнительно учитывает, насколько далеко расположены точки.

Главная конструкция модуля такова:

Вариационный критик заменяет недоступное отношение плотностей обучаемой задачей на выборках.

Полезно сразу увидеть всю лестницу, а затем разбирать её по ступеням:

$$\text{истинное расхождение} \;\longrightarrow\; \text{лучший критик в выбранном классе} \;\longrightarrow\; \text{критик, обученный на конечной выборке}.$$

Первая стрелка может оставить вариационный разрыв, если класс функций слишком узок. Вторая добавляет статистическую и оптимизационную ошибки. Это не повод отказываться от критиков; это карта того, какое именно число мы получили.

Если не сказано обратное, логарифмы в модуле натуральные, а информационные величины измеряются в натах.

11.2. f-дивергенции: одна схема, разные штрафы

Пусть $P$ и $Q$ имеют плотности $p$ и $q$ относительно общей базовой меры, причём на основном маршруте пока предположим $P\ll Q$. Введём отношение плотностей

$$r(x)=\frac{p(x)}{q(x)}.$$

У него простое чтение:

• $r(x)=1$ — распределения назначают точке одинаковую относительную массу;
• $r(x)>1$ — $Q$ недооценивает область по сравнению с $P$;
• $r(x)<1$ — $Q$ выделяет области больше массы, чем $P$.

Теперь выберем выпуклую функцию

$$f:(0,\infty)\to\mathbb R, \qquad f(1)=0.$$

Она задаёт шкалу: насколько дорого обходится каждое значение отношения $r$. Соответствующая f-дивергенция равна

$$\boxed{ D_f(P\|Q) = \int q(x) f\!\left(\frac{p(x)}{q(x)}\right)dx = \mathbb E_Q[f(r(X))] }.$$

Иными словами, $f$ — это шкала цены для ошибок в отношении плотностей. Разные шкалы дают разные расхождения.

Почему дивергенция неотрицательна

Поскольку

$$\mathbb E_Q[r] = \int q\frac pq = 1,$$

неравенство Йенсена даёт

$$D_f(P\|Q) = \mathbb E_Q[f(r)] \ge f(\mathbb E_Q r) =f(1)=0.$$

Здесь есть полезная тонкость: сама функция $f(t)$ не обязана быть неотрицательной при каждом $t$. Неотрицателен её средний счёт при условии $\mathbb E_Q r=1$. Именно поэтому на графике некоторые эквивалентные генераторы могут заходить ниже нуля, не создавая отрицательной дивергенции.

Равенство всегда выполняется при $P=Q$. Чтобы из $D_f(P\|Q)=0$ следовало $P=Q$, нужна достаточная строгость выпуклости $f$ на фактическом диапазоне $r$.

Основные представители

В курсе используется следующая нормировка:

При этой нормировке

$$0\le H^2(P,Q)\le1, \qquad 0\le\operatorname{TV}(P,Q)\le1, \qquad 0\le D_{\mathrm{JS}}(P,Q)\le\log2.$$

Почему генератор не единственен

Если заменить $f$ на

$$\widetilde f(t)=f(t)+a(t-1),$$

то

$$\mathbb E_Q[a(r-1)] =a(\mathbb E_Qr-1)=0.$$

Следовательно,

$$D_{\widetilde f}(P\|Q)=D_f(P\|Q).$$

Поэтому в разных таблицах можно встретить внешне разные формулы для одного и того же расхождения. Они отличаются линейным членом, который исчезает после усреднения.

Соседнее семейство: степенные дивергенции и дивергенции Реньи

Для $\alpha\ne0,1$ функция

$$f_\alpha(t) = \frac{t^\alpha-\alpha t+\alpha-1} {\alpha(\alpha-1)}$$

выпукла и задаёт семейство степенных f-дивергенций. В пределах $\alpha\to1$ и $\alpha\to0$ возникают генераторы, аффинно эквивалентные прямой и обратной KL.

Для $\alpha>0$, $\alpha\ne1$, дивергенция Реньи

$$D_\alpha^{\mathrm R}(P\|Q) = \frac1{\alpha-1} \log\int p^\alpha q^{1-\alpha}$$

использует ту же степенную сумму, но затем применяет к ней логарифм. Поэтому она является монотонным преобразованием соответствующей степенной дивергенции и при фиксированном $\alpha$ задаёт тот же порядок пар распределений, однако сама в общем случае не имеет формы $\mathbb E_Q[f(p/q)]$. Свойства f-дивергенций нельзя переносить на неё только по сходству обозначений.

11.3. Какие различия видят f-дивергенции

f-дивергенция смотрит на то, как одна мера перераспределяет вероятность относительно другой. Из этой конструкции следуют и её сильные стороны, и естественная граница.

Обработка не увеличивает различимость

Пусть к $P$ и $Q$ применяется один и тот же стохастический канал $K(dy\mid x)$. Обозначим выходные распределения через $P_Y$ и $Q_Y$. Тогда

$$\boxed{ D_f(P_Y\|Q_Y) \le D_f(P\|Q) }.$$

Это неравенство обработки данных (data processing inequality, DPI).

Короткое доказательство показывает механизм. Пусть

$$r(X)=\frac{dP}{dQ}(X).$$

Отношение плотностей после канала равно условному среднему исходного отношения:

$$\frac{dP_Y}{dQ_Y}(Y) = \mathbb E_Q[r(X)\mid Y].$$

По условному Йенсену

$$\begin{aligned} D_f(P_Y\|Q_Y) &= \mathbb E_{Q_Y} f\!\left(\mathbb E_Q[r(X)\mid Y]\right)\\ &\le \mathbb E_Q[f(r(X))]\\ &=D_f(P\|Q). \end{aligned}$$

Вот и вся механика: канал заменяет точное отношение $r(X)$ его условным средним. Усреднение сглаживает различия, а выпуклость не позволяет среднему штрафу вырасти.

Для представления $Z=T(X)$ вывод читается так: после фиксированного энкодера две группы данных нельзя сделать более различимыми на уровне распределений, чем они были во входе. При этом ограниченный линейный классификатор вполне может работать по $Z$ лучше, чем по $X$: энкодер способен сделать уже существующее различие доступнее выбранному классу считывающих моделей.

Инвариантность к обратимой перепараметризации

Если $T$ — измеримая биекция с измеримым обратным отображением, то

$$D_f(T_\#P\|T_\#Q)=D_f(P\|Q).$$

При гладкой замене координат якобианы в отношении плотностей сокращаются. Поэтому f-дивергенция не зависит от того, описали ли мы один и тот же объект в исходных координатах, после нормализации или через обратимое преобразование признаков.

Это сильная инвариантность. Но она же подсказывает границу: f-дивергенция не использует внешнюю геометрию пространства. Она знает, как соотносятся вероятности, но не знает, близки ли две разные точки по евклидовой, косинусной или перцептивной метрике.

Что выбирает функция $f$

При фиксированном направлении $D_f(P\|Q)$ большие значения

$$r=\frac pq$$

соответствуют областям, где модель $Q$ недооценивает данные $P$. Малые значения $r$ — областям, где $Q$ выделяет больше массы, чем $P$.

Разные $f$ по-разному взвешивают эти два типа ошибки. Поэтому при ограниченном модельном семействе они могут выбирать разные проекции одного и того же распределения:

• прямая KL дорого штрафует области с заметной массой $P$, которым $Q$ назначила слишком малую вероятность;
• обратная KL дорого штрафует массу $Q$ в областях, где $P$ почти отсутствует;
• ограниченные JS, расстояние Хеллингера и TV постепенно насыщаются при сильном расхождении.

Отсюда возникает знакомая эвристика: прямая KL часто ведёт к покрытию мод, обратная — к выбору одной из них. В M3 мы видели это на аппроксимации смеси одной гауссианой. Формулировать результат следует именно так: это типичное поведение проекции в ограниченное семейство, а не универсальный закон любого алгоритма с данной аббревиатурой в функции потерь.

Когда носители не пересекаются

Пусть $P$ и $Q$ взаимно сингулярны. Тогда распространённые f-дивергенции достигают своих граничных значений:

$$D_{\mathrm{JS}}(P,Q)=\log2, \qquad \operatorname{TV}(P,Q)=1, \qquad H^2(P,Q)=1,$$

а прямая KL и $\chi^2$ Пирсона в соответствующих направлениях становятся бесконечными.

Числа здесь разные. Общим является другое: они больше не сообщают, насколько далеко друг от друга находятся носители. Точки на расстоянии $10^{-3}$ и $10^3$ могут получить один и тот же JS-счёт. В §11.8 именно эта потерянная геометрия приведёт нас к расстоянию Вассерштейна.

11.4. Классификатор оценивает отношение плотностей

Теперь вернёмся к игре из начала модуля и выведем её точно.

Сформируем бинарную выборку:

• с вероятностью $\pi$ берём $X\sim P$ и ставим метку $C=1$;
• с вероятностью $1-\pi$ берём $X\sim Q$ и ставим метку $C=0$.

По формуле Байеса оптимальный вероятностный классификатор равен

$$D^*(x) = \Pr(C=1\mid X=x) = \frac{\pi p(x)} {\pi p(x)+(1-\pi)q(x)}.$$

Разделим вероятность первого класса на вероятность второго:

$$\frac{D^*(x)}{1-D^*(x)} = \frac{\pi p(x)}{(1-\pi)q(x)}.$$

После логарифмирования получаем

$$\boxed{ \operatorname{logit}D^*(x) = \log\frac{p(x)}{q(x)} + \log\frac{\pi}{1-\pi} }.$$

При равных априорных вероятностях классов второй член исчезает:

$$\operatorname{logit}D^*(x) = \log\frac{p(x)}{q(x)}.$$

В двухточечном примере из §11.1:

$$D^*(a)=0.8, \qquad D^*(b)=0.2,$$

и поэтому

$$\operatorname{logit}D^*(a)=\log4, \qquad \operatorname{logit}D^*(b)=-\log4.$$

Идеальный классификатор восстанавливает именно тот логарифм отношения, который нужен KL и многим другим дивергенциям.

Это один из центральных приёмов вывода без явного правдоподобия (likelihood-free inference): вместо двух плотностей оценивается одна функция, различающая их выборки.

На этом месте важно различить две задачи:

• классификация источника требует правильного решения или ранжирования;
• оценивание отношения плотностей требует ещё и хорошо откалиброванных вероятностей.

При почти разделимых классах точность классификации может быть идеальной, а логиты — произвольно завышенными. Поэтому высокий результат классификации подтверждает различимость выборок, но сам по себе ещё не даёт точной численной оценки отношения $p/q$.

11.5. Вариационная форма: как сделать расхождение обучаемым

Классификация дала один способ получить отношение плотностей. Теперь выведем общий механизм, который работает сразу для всего семейства f-дивергенций.

От неравенства Фенхеля к нижней границе

Для выпуклой $f$ определим сопряжённую функцию

$$\boxed{ f^*(s) = \sup_{t>0}\{st-f(t)\} }.$$

Из определения следует неравенство Фенхеля:

$$f(t)\ge st-f^*(s)$$

для любого допустимого $s$. Выберем в каждой точке $s=T(x)$ и подставим $t=p(x)/q(x)$:

$$f\!\left(\frac pq\right) \ge T\frac pq-f^*(T).$$

Умножим на $q$ и проинтегрируем:

$$\begin{aligned} D_f(P\|Q) &= \mathbb E_Q f\!\left(\frac pq\right)\\ &\ge \mathbb E_Q\!\left[T\frac pq-f^*(T)\right]\\ &= \mathbb E_P[T] - \mathbb E_Q[f^*(T)]. \end{aligned}$$

Следовательно, каждая допустимая функция $T$ даёт нижнюю границу:

$$\boxed{ \mathbb E_P[T] - \mathbb E_Q[f^*(T)] \le D_f(P\|Q) }.$$

Если класс функций достаточно богат и условия двойственности выполнены, можно взять супремум:

$$\boxed{ D_f(P\|Q) = \sup_T \left\{ \mathbb E_P[T(X)] - \mathbb E_Q[f^*(T(X))] \right\} }.$$

Для дифференцируемой строго выпуклой $f$ поточечный оптимум удовлетворяет

$$\boxed{ T^*(x) = f'\!\left(\frac{p(x)}{q(x)}\right) }.$$

Если $f'$ обратима, идеальный критик позволяет восстановить отношение плотностей:

$$\frac{p(x)}{q(x)} = (f')^{-1}(T^*(x)).$$

Теперь роль критика видна точно. Он не обязан выдавать вероятность класса; в общем случае он учится преобразованному отношению плотностей, выбранному функцией $f$.

От теоремы к обучению нейросети

Пусть $\mathcal T$ — класс критиков, например нейросети фиксированной архитектуры. Тогда

$$\sup_{T\in\mathcal T} \left\{ \mathbb E_PT- \mathbb E_Qf^*(T) \right\} \le D_f(P\|Q).$$

В практическом запуске к этому добавляются ещё три слоя приближения:

1. ожидания заменяются средними по конечной выборке;
2. оптимизатор находит не лучший критик даже внутри $\mathcal T$;
3. один и тот же набор данных часто используется для настройки критика и для отчёта его значения.

Последний пункт особенно важен. Для фиксированного $T$ популяционная цель является нижней границей. Но максимум эмпирической цели по гибкому классу может переобучиться и оказаться выше истинной дивергенции. Надёжный протокол отделяет обучение критика от оценки на отложенных парах и проверяет перестановочную базовую линию.

KL: формы NWJ и Donsker–Varadhan

Для прямой KL возьмём

$$f(t)=t\log t.$$

Её сопряжённая функция равна

$$f^*(s)=e^{s-1}.$$

Общая формула даёт

$$\boxed{ D_{\mathrm{KL}}(P\|Q) = \sup_T \left\{ \mathbb E_P[T] - \mathbb E_Q[e^{T-1}] \right\} }.$$

В литературе по оцениванию MI эту запись часто называют формой Nguyen–Wainwright–Jordan, или NWJ. Её оптимальный критик:

$$T^*(x)=1+\log\frac{p(x)}{q(x)}.$$

Другая точная форма KL — Donsker–Varadhan:

$$\boxed{ D_{\mathrm{KL}}(P\|Q) = \sup_G \left\{ \mathbb E_P[G] - \log\mathbb E_Q[e^G] \right\} }.$$

Связь между ними удобно увидеть, а не запоминать. Положим $T=G+c$ в NWJ-цели:

$$\mathbb E_P[G]+c - e^{c-1}\mathbb E_Q[e^G].$$

Максимум по свободному сдвигу $c$ достигается при

$$c^*=1-\log\mathbb E_Q[e^G].$$

После подстановки остаётся DV-цель. Поэтому оптимальный DV-критик определён с точностью до константы:

$$G^*(x) = \log\frac{p(x)}{q(x)}+\text{const}.$$

Обе формулы точны на уровне распределений, но их конечновыборочные оценки ведут себя по-разному. Экспонента и логарифм нормировочного среднего делают DV особенно чувствительной к редким большим значениям критика.

11.6. GAN и f-GAN

Теперь состязательная игра перестаёт выглядеть отдельным трюком: это один из способов обучать вариационный критик вместе с распределением, которое он сравнивает с данными.

Исходная минимаксная игра GAN

Целевая функция Goodfellow et al. имеет вид

$$\max_D \left\{ \mathbb E_{P_{\mathrm{data}}}[\log D(X)] + \mathbb E_{Q_\theta}[\log(1-D(X))] \right\}.$$

Для фиксированного генератора поточечный оптимум равен

$$D^*(x) = \frac{p_{\mathrm{data}}(x)} {p_{\mathrm{data}}(x)+q_\theta(x)}.$$

Подставим его обратно. Если

$$M=\frac12(P_{\mathrm{data}}+Q_\theta),$$

то

$$\boxed{ \max_D V(D,Q_\theta) = -\log4 + 2D_{\mathrm{JS}}(P_{\mathrm{data}},Q_\theta) }.$$

Это сильный и точный результат: идеализированная минимаксная игра с оптимальным дискриминатором сравнивает данные и генератор по JS-дивергенции.

Реальное обучение делает следующий шаг приближённо. Дискриминатор не оптимизируется до конца на каждом обновлении, генератор ограничен параметрическим семейством, а вместо исходной насыщаемой цели часто используется несатурирующаяся функция потерь

$$-\mathbb E_{Q_\theta}\log D(X),$$

которая даёт более сильный градиент на ранних этапах. Желаемая точка $P_{\mathrm{data}}=Q_\theta$ сохраняется, но отдельный шаг генератора уже не является буквальным шагом градиентного спуска по точной JS.

f-GAN

Общая вариационная форма предлагает заменить JS другой f-дивергенцией:

$$\boxed{ \min_\theta\max_\phi \left\{ \mathbb E_{P_{\mathrm{data}}}[T_\phi(X)] - \mathbb E_{Q_\theta}[f^*(T_\phi(X))] \right\} }.$$

Если класс критиков достаточно богат, а внутренний максимум найден, значение внутренней задачи равно

$$D_f(P_{\mathrm{data}}\|Q_\theta).$$

Для некоторых $f^*$ допустим не весь числовой диапазон. Поэтому выход неограниченной сети $V_\phi$ пропускают через специальное преобразование

$$T_\phi(x)=g_f(V_\phi(x)),$$

гарантирующее

$$T_\phi(x)\in\operatorname{dom}f^*.$$

Выбор $f$ меняет сразу несколько вещей:

• какую проекцию данных выбирает ограниченное семейство генераторов;
• форму и кривизну функции потерь критика;
• допустимый диапазон его выхода;
• чувствительность к разным значениям отношения плотностей;
• статистический компромисс между смещением и дисперсией оценки.

Удобно разделить два уровня. В идеализированной задаче дивергенция задаёт цель. В реальном GAN динамика седловой оптимизации определяет, удастся ли к этой цели приблизиться. Коллапс мод, осцилляции и нестабильность зависят не только от $f$, но и от архитектуры, регуляризации, относительных скоростей обучения и суррогатной цели генератора.

11.7. MINE и InfoNCE

Взаимная информация уже имеет вид задачи сравнения распределений:

$$I(X;Y) = D_{\mathrm{KL}} (P_{XY}\|P_X\otimes P_Y).$$

Совместное распределение даёт настоящие пары $(X,Y)$. Произведение маргиналов даёт пары, собранные независимо. Поэтому оценивание MI можно превратить в различение связанных и перемешанных пар.

MINE: DV-критик для совместного распределения

MINE подставляет эту пару распределений в формулу Donsker–Varadhan:

$$\boxed{ I(X;Y) \ge \mathbb E_{P_{XY}}[T_\phi(X,Y)] - \log \mathbb E_{P_X\otimes P_Y} [e^{T_\phi(X,Y)}] }.$$

Положительные пары берутся из совместного распределения. Для произведения маргиналов можно независимо пересэмплировать $X$ и $Y$; на практике часто перемешивают $Y$ внутри мини-батча.

Популяционная формула проста, а конечновыборочное оценивание трудно именно из-за экспоненты. Редкие большие значения $T_\phi$ способны доминировать в знаменателе и создавать высокую дисперсию. Исходная работа MINE использовала скользящее среднее для стабилизации градиента нормировочного члена.

Хороший протокол разделяет три шага:

1. критик обучается на тренировочных парах;
2. значение оценивается на отложенных парах;
3. перестановочный эксперимент проверяет, что оцениватель возвращается к нулевой базовой линии при разрушенной зависимости.

InfoNCE: выбор положительного кандидата

InfoNCE использует другую игру. Для каждого $X$ один кандидат $Y_1$ берётся из $P(Y\mid X)$, а

$$Y_2,\ldots,Y_K \overset{\mathrm{iid}}{\sim}P_Y$$

служат отрицательными кандидатами. Критик должен найти положительную пару:

$$\mathcal L_{\mathrm{NCE}} = - \mathbb E \log \frac{e^{s(X,Y_1)}} {\sum_{j=1}^{K}e^{s(X,Y_j)}}.$$

При этой схеме выборки

$$\boxed{ I(X;Y) \ge \log K- \mathcal L_{\mathrm{NCE}} }.$$

Оптимальная оценочная функция имеет вид

$$s^*(x,y) = \log\frac{p(y\mid x)}{p(y)}+c(x),$$

то есть снова кодирует отношение плотностей.

Например, при $K=32$ и функции потерь $1.2$ ната получаем

$$\log32-1.2 \approx 2.266\ \text{ната} \approx 3.27\ \text{бита}.$$

Это нижняя граница на MI при заданной схеме, а не самостоятельное измерение всей информации в представлении.

Одно отношение плотностей, разные выборочные цели

MINE и InfoNCE сходятся к родственной оптимальной оценочной функции, но строят разные вариационные задачи:

• MINE использует DV-функционал с экспоненциальным ожиданием;
• InfoNCE решает $K$-классовую задачу выбора положительного кандидата.

Поэтому InfoNCE некорректно описывать как «MINE с небольшим смещением».

У InfoNCE есть явный потолок:

$$\log K-\mathcal L_{\mathrm{NCE}} \le \log K.$$

Увеличение $K$ поднимает этот потолок и при идеальном критике может сделать границу плотнее. Но для обучения представлений важно не только численное значение границы: ложные отрицательные пары, схема аугментаций, вычислительный бюджет и сложность оптимизации могут изменить качество в последующей задаче.

Здесь возникает важное различие:

Вариационная граница может быть полезной функцией обучения даже тогда, когда её численное значение плохо оценивает само значение MI.

При большой истинной MI известные нейросетевые границы сталкиваются с компромиссом смещения и дисперсии. Более того, без дополнительных предположений распределительно-свободная нижняя граница с высокой вероятностью по $N$ наблюдениям не может надёжно расти существенно быстрее порядка $\log N$. Это ограничение относится к статистической гарантии, а не запрещает использовать контрастивную цель как обучающий сигнал.

11.8. Интегральные вероятностные метрики: расстояние Вассерштейна и MMD

f-дивергенции отвечают на вопрос о перераспределении вероятностной массы. Но иногда задача должна различать близкие и далёкие несовпадения.

Две движущиеся точки

Пусть

$$P=\delta_0, \qquad Q_\theta=\delta_\theta.$$

При любом $\theta\ne0$ носители не пересекаются, поэтому

$$D_{\mathrm{JS}}(P,Q_\theta)=\log2, \qquad \operatorname{TV}(P,Q_\theta)=1,$$

а KL бесконечна в обоих направлениях. Эти величины не меняются, когда $\theta$ движется от $10^{-3}$ к $10^3$.

Расстояние Вассерштейна первого порядка, напротив, видит величину сдвига:

$$\boxed{ W_1(P,Q_\theta)=|\theta| }.$$

Этот пример объясняет, зачем нужен другой язык: не отношение плотностей, а класс тестовых функций, чувствительных к геометрии.

Интегральная вероятностная метрика

Для симметричного класса функций $\mathcal F$ определим

$$\boxed{ \operatorname{IPM}_{\mathcal F}(P,Q) = \sup_{h\in\mathcal F} \left| \mathbb E_P[h(X)]- \mathbb E_Q[h(X)] \right| }.$$

Класс $\mathcal F$ задаёт, какие различия способен увидеть критик. Если функции слишком просты, разные распределения могут иметь одинаковые ожидания для всех $h\in\mathcal F$. Если класс богат, оценивание становится статистически и вычислительно сложнее.

Расстояние Вассерштейна первого порядка

Пусть $(\mathcal X,d)$ — полное сепарабельное метрическое пространство, например $\mathbb R^d$, а $P$ и $Q$ имеют конечный первый момент. Для класса всех 1-липшицевых функций двойственность Канторовича–Рубинштейна даёт

$$\boxed{ W_1(P,Q) = \sup_{\|h\|_{\mathrm{Lip}}\le1} \left( \mathbb E_Ph- \mathbb E_Qh \right) }.$$

Та же величина имеет транспортную форму:

$$\boxed{ W_1(P,Q) = \inf_{\gamma\in\Pi(P,Q)} \mathbb E_{(X,Y)\sim\gamma}[d(X,Y)] }.$$

Здесь $\Pi(P,Q)$ — все совместные распределения с маргиналами $P$ и $Q$. Первая формула говорит о лучшем 1-липшицевом критике; вторая — о минимальной средней стоимости переноса массы.

Расстояние Вассерштейна зависит от базовой метрики. Если умножить все координаты на сто, транспортная цена также изменится. Это не дефект: именно метрика сообщает, какие перемещения следует считать малыми.

WGAN: расстояние Вассерштейна как цель критика

Wasserstein GAN (WGAN) обучает критик по цели

$$\max_{\|h_\phi\|_{\mathrm{Lip}}\le1} \left\{ \mathbb E_{P_{\mathrm{data}}}[h_\phi(X)] - \mathbb E_{Q_\theta}[h_\phi(X)] \right\}.$$

В идеале внутренний максимум равен $W_1$. Главная инженерная трудность — обеспечить условие Липшица.

Оригинальный WGAN использовал обрезку весов. WGAN-GP заменил её штрафом

$$\lambda \mathbb E_{\widehat X} \left( \|\nabla_{\widehat x}h_\phi(\widehat X)\|_2-1 \right)^2$$

на интерполированных точках. Такой штраф часто даёт более удобное обучение, но не является глобальным сертификатом того, что нейросеть 1-липшицева на всём пространстве.

Содержательный результат WGAN состоит не в обещании, что любой запуск сойдётся, а в более подходящей геометрии популяционной цели при близких раздельных носителях. Практическое качество всё равно зависит от класса критиков, способа ограничения Липшица и динамики оптимизации.

MMD: критик задаётся ядром

Если $\mathcal F$ — единичный шар в пространстве с воспроизводящим ядром $\mathcal H_k$, получаем максимальное расхождение средних (maximum mean discrepancy, MMD):

$$\operatorname{MMD}_k(P,Q) = \sup_{\|h\|_{\mathcal H_k}\le1} \left| \mathbb E_Ph- \mathbb E_Qh \right|.$$

Его квадрат вычисляется без внутреннего обучения нейросети:

$$\boxed{ \begin{aligned} \operatorname{MMD}_k^2(P,Q) &= \mathbb E_{X,X'\sim P}k(X,X')\\ &\quad- 2\mathbb E_{X\sim P,Y\sim Q}k(X,Y)\\ &\quad+ \mathbb E_{Y,Y'\sim Q}k(Y,Y'). \end{aligned} }$$

Для характеристического ядра равенство MMD$=0$ эквивалентно $P=Q$. Например, гауссовское ядро

$$k_\sigma(x,y) = \exp\left(-\frac{\|x-y\|^2}{2\sigma^2}\right)$$

является характеристическим на евклидовом пространстве. Но ширина $\sigma$ определяет масштаб различий: слишком малая ширина видит только локальные совпадения, слишком большая сглаживает структуру.

MMD удобна для двухвыборочных тестов и контроля сдвига распределения: эмпирическая оценка строится из попарных значений ядра и не требует седловой оптимизации. Цена этого удобства — необходимость выбрать содержательное ядро; наивный расчёт также имеет квадратичную сложность по размеру выборки.

Семейства частично пересекаются

f-дивергенции и IPM — не две непроницаемые коробки. Полная вариация допускает обе формы:

$$\operatorname{TV}(P,Q) = \frac12\int|p-q|$$

и

$$\operatorname{TV}(P,Q) = \sup_{0\le h\le1} \left| \mathbb E_Ph- \mathbb E_Qh \right|.$$

Полезнее помнить механизм:

• f-дивергенция задаёт геометрию через отношение плотностей и функцию $f$;
• IPM задаёт геометрию через класс тестовых функций $\mathcal F$.

11.9. Выбор расхождения в практической задаче

Универсально лучшего расхождения нет. Выбор начинается не с названия функции потерь, а с того, какие данные доступны и что система должна считать ошибкой.

Перед выбором полезно ответить на четыре вопроса.

1. Что можно вычислить?

Есть ли доступ к $p(x)$ и $q(x)$, или только к выборкам? Можно ли дифференцировать через генератор? Есть ли естественные положительные и отрицательные пары?

2. Какая ошибка важна?

Нужно ли дорого штрафовать пропущенную массу, лишнюю массу, геометрический сдвиг, изменение отдельных моментов или любую различимость выбранным классом функций?

3. Что действительно оптимизируется?

Точное расхождение, нижняя граница, конечновыборочный оцениватель и суррогатная функция потерь генератора — разные объекты. Их оптимумы могут совпадать в идеале, но траектории обучения и статистические свойства различаются.

4. Как будет проверяться результат?

Число критика следует дополнять независимыми проверками: значением цели на отложенных данных, метрикой последующей задачи, визуальным или предметным контролем, перестановочной базовой линией, несколькими ядрами или несколькими классами критиков.

Итоговый принцип можно сформулировать без лозунга о «лучшем расстоянии»:

Хорошее расхождение согласует три вещи: смысл ошибки, доступный способ оценивания и геометрию пространства, в котором работает модель.

11.10. Математическое углубление: общая мера и точная двойственность

Можно пропустить при первом чтении. Здесь мы делаем строгими места, которые в основном маршруте были сформулированы для плотностей с $P\ll Q$.

Общая f-дивергенция и сингулярная часть

Пусть $P$ и $Q$ доминируются мерой $\mu$:

$$p=\frac{dP}{d\mu}, \qquad q=\frac{dQ}{d\mu}.$$

Определим граничные значения

$$f(0)=\lim_{t\downarrow0}f(t), \qquad f'_\infty = \lim_{t\to\infty}\frac{f(t)}t.$$

Тогда расширенная f-дивергенция равна

$$\boxed{ D_f(P\|Q) = \int_{\{q>0\}} q f\!\left(\frac pq\right)d\mu + f'_\infty P\{q=0\} }.$$

Формула не зависит от выбора общей доминирующей меры. Если $P\perp Q$, то

$$D_f(P\|Q)=f(0)+f'_\infty.$$

Отсюда сразу получаются граничные значения:

• TV: $1$;
• квадрат расстояния Хеллингера в нашей нормировке: $1$;
• JS: $\log2$;
• прямая KL и $\chi^2$ Пирсона: $+\infty$.

Совместная выпуклость

Функция двух неотрицательных аргументов

$$\psi(p,q)=qf(p/q)$$

является перспективой выпуклой функции $f$ и потому совместно выпукла по $(p,q)$. После интегрирования получаем для $0\le\lambda\le1$:

$$\begin{aligned} &D_f\bigl(\lambda P_1+(1-\lambda)P_2 \,\|\, \lambda Q_1+(1-\lambda)Q_2\bigr)\\ &\qquad\le \lambda D_f(P_1\|Q_1) +(1-\lambda)D_f(P_2\|Q_2). \end{aligned}$$

Это формальное выражение простой идеи: смешивание двух задач сравнения не создаёт больше расхождения, чем средний счёт до смешивания.

Когда вариационный супремум точен

Тождество

$$D_f(P\|Q) = \sup_T \left\{ \mathbb E_PT- \mathbb E_Qf^*(T) \right\}$$

требует выпуклости и нижней полунепрерывности $f$, корректной области $f^*$, достаточно богатого класса измеримых функций и условий, позволяющих выбрать поточечный оптимум и обменять интегрирование с супремумом.

Если $f$ дифференцируема, оптимум имеет вид

$$T^*(x)=f'\!\left(\frac{p(x)}{q(x)}\right).$$

Если $f$ недифференцируема, например для TV, вместо производной используется субградиент:

$$T^*(x) \in \partial f\!\left(\frac{p(x)}{q(x)}\right).$$

Нейросетевой класс почти всегда уже полного класса измеримых функций. Поэтому выражение, оптимизированное в коде, корректнее называть вариационной нижней границей, пока точность для выбранной архитектуры и процедуры не доказана отдельно.

11.12. Заключение

KL привела нас к этому модулю, но итог оказался шире одной дивергенции.

f-дивергенции собирают большой класс расхождений в одну формулу:

$$D_f(P\|Q) = \mathbb E_Q f\!\left(\frac pq\right).$$

Функция $f$ задаёт, как оцениваются разные ошибки в отношении плотностей. Неравенство обработки данных объясняет, почему фиксированная обработка не усиливает популяционную различимость, а насыщение на раздельных носителях показывает, где отношению плотностей не хватает внешней геометрии.

Двойственность Фенхеля превращает недоступное расхождение в обучаемую задачу:

$$D_f(P\|Q) = \sup_T \left\{ \mathbb E_PT- \mathbb E_Qf^*(T) \right\}.$$

В идеале критик восстанавливает преобразование $p/q$. В реальном запуске он работает внутри ограниченного класса, по конечной выборке и с конечным числом шагов оптимизации. Поэтому значение критика полезно ровно настолько, насколько ясно описан этот протокол.

Та же механика связывает несколько, на первый взгляд, разных методов:

• вероятностный классификатор оценивает логарифм отношения плотностей;
• исходная минимаксная игра GAN при оптимальном дискриминаторе связана с JS;
• f-GAN меняет функцию $f$ и сопряжённую функцию потерь критика;
• MINE сравнивает совместные и перемешанные пары через DV;
• InfoNCE решает многовыборочную классификационную задачу с тем же отношением плотностей в оптимальной оценочной функции.

Когда расстояние между точками имеет смысл само по себе, язык меняется. Расстояние Вассерштейна задаёт стоимость переноса в базовой метрике, а MMD — различимость классом функций, определённым ядром.

Главный инженерный вывод модуля:

Расхождение выбирают не по репутации его названия, а по тому, какую ошибку оно считает дорогой, как его можно оценить и какая геометрия нужна задаче.

В Модуле 12 вариационный аппарат появится в другой роли. KL будет измерять, насколько зависящее от данных апостериорное распределение отклонилось от априорного, а PAC-Bayes превратит эту стоимость в границу обобщения.

Основные источники

1. X. Nguyen, M. Wainwright, M. Jordan, Estimating Divergence Functionals and the Likelihood Ratio by Convex Risk Minimization, 2010.
2. S. Nowozin, B. Cseke, R. Tomioka, f-GAN: Training Generative Neural Samplers using Variational Divergence Minimization, 2016.
3. I. Goodfellow et al., Generative Adversarial Nets, 2014.
4. M. Belghazi et al., MINE: Mutual Information Neural Estimation, 2018.
5. A. van den Oord, Y. Li, O. Vinyals, Representation Learning with Contrastive Predictive Coding, 2018.
6. B. Poole et al., On Variational Bounds of Mutual Information, 2019.
7. D. McAllester, K. Stratos, Formal Limitations on the Measurement of Mutual Information, 2020.
8. M. Arjovsky, S. Chintala, L. Bottou, Wasserstein GAN, 2017.
9. I. Gulrajani et al., Improved Training of Wasserstein GANs, 2017.
10. A. Gretton et al., A Kernel Two-Sample Test, 2012.