Модуль 15. Информационная геометрия: Fisher, естественный градиент и потоки распределений

Как читать этот модуль. Это заключительный бонусный модуль курса. Основной маршрут — §§15.1–15.8: почему обычный градиент зависит от координат, как информация Фишера задаёт локальную геометрию распределений, откуда возникает естественный градиент, какие приближения кривизны реально используются в глубоких сетях, как эта геометрия проявляется в TRPO, PPO и RLHF и почему для переноса вероятностной массы нужна уже Wasserstein-геометрия. §15.9 — математическое углубление об α-геометрии, точных геодезических и теореме Ченцова. Его можно оставить на второй проход.

15.1. Что значит «маленький шаг» для вероятностной модели

Оптимизатор двигает параметры. Но интересует нас обычно не сам вектор параметров, а распределение, функция или политика, которые он задаёт.

Начнём с самой маленькой вероятностной модели — распределения Бернулли. Вероятность события можно записать непосредственно как

$$p\in(0,1)$$

или через логит

$$z=\log\frac{p}{1-p}, \qquad p=\sigma(z).$$

Это две системы координат для одного и того же статистического объекта. Если сделать обычный градиентный шаг по $p$, а затем решить ту же задачу по $z$, траектории вероятности в общем случае не совпадут. Алгоритм изменился только потому, что мы переименовали координату.

Есть и более физическая проблема. Одинаковое изменение вероятности не везде означает одинаковое изменение распределения. Переход

$$0.50\longrightarrow0.51$$

даёт

$$D_{\mathrm{KL}} \bigl( \operatorname{Bern}(0.50) \|\operatorname{Bern}(0.51) \bigr) \approx 2.00\cdot10^{-4}$$

ната. А переход

$$0.01\longrightarrow0.02$$

при той же евклидовой длине шага $0.01$ даёт уже

$$D_{\mathrm{KL}} \bigl( \operatorname{Bern}(0.01) \|\operatorname{Bern}(0.02) \bigr) \approx3.12\cdot10^{-3}$$

ната — более чем в пятнадцать раз больше. В первом случае мы слегка сдвинули почти неопределённую монету. Во втором — удвоили вероятность редкого события.

В глубокой сети та же проблема скрыта миллионами координат:

• перестановка нейронов может не менять реализуемую функцию;
• масштабы соседних слоёв способны взаимно компенсироваться;
• softmax не меняется при добавлении общей константы ко всем логитам;
• один и тот же евклидов шаг в весах может почти не изменить выход модели или, наоборот, радикально перестроить распределение.

Поэтому центральный вопрос информационной геометрии звучит так:

Как измерять изменение модели в терминах самого вероятностного объекта, а не случайно выбранных координат?

Ответа «одна правильная геометрия для всего ML» не существует. В этом модуле встретятся три разных конструкции.

1. Fisher–Rao и локальная KL измеряют различимость соседних вероятностных моделей.
2. Дивергенции Брэгмана и зеркальный спуск задают удобную геометрию обновлений на симплексе и в экспоненциальных семействах.
3. Wasserstein-геометрия учитывает стоимость переноса массы в пространстве наблюдений.

Полезная короткая формулировка:

Геометрия — это договор о том, какие изменения считать малыми.

Если объектом является политика, малость можно измерять средним KL между распределениями действий. Если мы переносим изображение из шума в данные, важна стоимость движения в пространстве пикселей или признаков. Если оптимизируем обычную детерминированную регрессию, Fisher может вообще оказаться не тем объектом, который нужен.

Сначала разберём геометрию соседних распределений.

15.2. Информация Фишера и локальная форма KL

Пусть модель задаёт гладкое семейство распределений

$$\mathcal M = \left\{ p_\theta(x): \theta\in\Theta\subseteq\mathbb R^d \right\}.$$

Вектор

$$s_\theta(x) = \nabla_\theta\log p_\theta(x)$$

называется скор-функцией (score function) по параметрам. При стандартных условиях регулярности его среднее равно нулю:

$$\mathbb E_{p_\theta}[s_\theta(X)] = \int \nabla_\theta p_\theta(x)\,dx = \nabla_\theta1 =0.$$

Матрица информации Фишера:

$$\boxed{ G(\theta) = \mathbb E_{X\sim p_\theta} \left[ s_\theta(X)s_\theta(X)^\top \right] }.$$

Для направления $v$ квадратичная форма имеет особенно прозрачный смысл:

$$v^\top G(\theta)v = \operatorname{Var}_{p_\theta} \left[ v^\top s_\theta(X) \right].$$

Если это число велико, движение вдоль $v$ заметно меняет логарифмические вероятности типичных наблюдений. Соседние модели в этом направлении легче различить статистически. Если число равно нулю, малый сдвиг вдоль $v$ в первом порядке вообще не меняет распределение.

Почему Fisher появляется из KL

Рассмотрим соседнюю модель $p_{\theta+d\theta}$. Разложим её логарифм около $\theta$:

$$\log p_{\theta+d\theta}(x) = \log p_\theta(x) +s_\theta(x)^\top d\theta + \frac12 d\theta^\top \nabla_\theta^2\log p_\theta(x) d\theta + o(\|d\theta\|^2).$$

Подставим в KL:

$$D_{\mathrm{KL}} \bigl( p_\theta \|p_{\theta+d\theta} \bigr) = \mathbb E_{p_\theta} \left[ \log p_\theta(X) -\log p_{\theta+d\theta}(X) \right].$$

Линейный член исчезает, потому что среднее скор-функции равно нулю. При возможности перенести производные под знак интеграла

$$-\mathbb E_{p_\theta} \left[ \nabla_\theta^2\log p_\theta(X) \right] = G(\theta).$$

Получаем центральное локальное тождество:

$$\boxed{ D_{\mathrm{KL}} \bigl( p_\theta \|p_{\theta+d\theta} \bigr) = \frac12 d\theta^\top G(\theta)d\theta + o(\|d\theta\|^2) }.$$

На этом месте удобно остановиться и прочитать формулу словами:

Fisher — это второй порядок цены малого изменения распределения, измеренной через KL.

Прямая и обратная KL имеют один и тот же квадратичный член. Их асимметрия проявляется начиная с более высоких порядков. Поэтому Fisher даёт локальную риманову геометрию, но не превращает саму KL в глобальное расстояние: KL остаётся асимметричной и не удовлетворяет неравенству треугольника.

Почему длина не зависит от координат

Пусть та же модель записана в новых координатах $\phi$, причём $\theta=\theta(\phi)$ и

$$J=\frac{\partial\theta}{\partial\phi}.$$

Тогда

$$G_\phi = J^\top G_\theta J.$$

Одновременно

$$d\theta=J\,d\phi.$$

Поэтому

$$d\theta^\top G_\theta d\theta = d\phi^\top G_\phi d\phi.$$

Числа в матрице меняются, но локальная статистическая длина остаётся той же. Именно это означает, что Fisher ведёт себя как метрический тензор, а не как произвольный предобусловливатель.

Точный пример: Bernoulli

Для $X\sim\operatorname{Bernoulli}(p)$ в координате $p$:

$$G_p(p)=\frac1{p(1-p)}.$$

В логит-координате $z$:

$$G_z(z)=p(1-p).$$

Матрицы выглядят противоположно: одна растёт у края симплекса, другая там стремится к нулю. Но элемент длины совпадает:

$$\frac{dp^2}{p(1-p)} = p(1-p)\,dz^2.$$

Координата

$$u(p)=2\arcsin\sqrt p$$

выпрямляет эту одномерную геометрию:

$$ds^2=du^2.$$

Поэтому точное расстояние Fisher–Rao между двумя монетами равно

$$\boxed{ d_{\mathrm{FR}}(p_1,p_2) = 2\left| \arcsin\sqrt{p_2} - \arcsin\sqrt{p_1} \right| }.$$

Для $p_1=0.1$ и $p_2=0.9$:

$$d_{\mathrm{FR}} \approx1.85459.$$

Та же матрица ограничивает точность оценивания

Для $n$ независимых наблюдений и несмещённого оценивателя при условиях регулярности граница Крамера—Рао даёт

$$\operatorname{Cov}(\widehat\theta) \succeq \frac1nG(\theta)^{-1}.$$

Это другая сторона той же идеи. Если соседние распределения легко различимы, параметр можно оценить точнее. Если разные значения параметра почти не меняют наблюдаемое распределение, никакой несмещённый оцениватель не сможет извлечь высокую точность из тех же данных.

Где заканчивается локальная картина

У результата есть три важные границы.

• Квадратичная аппроксимация надёжна только для достаточно малого шага.
• Положительная определённость Fisher требует локальной идентифицируемости. В глубоких сетях симметрии и избыточные параметры часто делают её сингулярной.
• Fisher зависит от того, какое распределение наблюдений и условную модель мы объявили статистическим объектом. «Матрица Fisher сети» без уточнения ожиданий — ещё не полное определение.

Последний пункт станет центральным в §15.4. Сначала посмотрим, какой шаг возникает, если именно Fisher использовать для измерения малости обновления.

15.3. Естественный градиент: наискорейший спуск при малом изменении модели

Пусть нужно минимизировать функцию $L(\theta)$, а

$$g=\nabla_\theta L.$$

Обычный градиент является направлением наискорейшего спуска при евклидовом ограничении на шаг. Но если малость измеряется локальной KL, естественная задача другая:

$$\min_\delta g^\top\delta \qquad \text{при} \qquad \frac12\delta^\top G\delta\le\varepsilon.$$

Лагранжиан даёт направление

$$\boxed{ \widetilde\nabla_\theta L =G(\theta)^\dagger g },$$

где $G^\dagger$ — обратная или псевдообратная матрица. При невырожденной $G$ шаг, использующий весь допустимый бюджет, равен

$$\boxed{ \delta^* =- \sqrt{ \frac{2\varepsilon}{g^\top G^{-1}g} } G^{-1}g }.$$

Представьте

$$G= \begin{pmatrix} 100&0\\ 0&1 \end{pmatrix}, \qquad g= \begin{pmatrix} 1\\1 \end{pmatrix}.$$

Обычный градиент предлагает одинаково двигаться по обеим координатам. Естественный градиент даёт направление

$$G^{-1}g = \begin{pmatrix} 0.01\\1 \end{pmatrix}.$$

Первая координата в сто раз чувствительнее с точки зрения изменения распределения, поэтому тот же статистический бюджет разрешает значительно меньший сдвиг.

Инвариантность на примере Bernoulli

Пусть целевая функция зависит от вероятности: $L=L(p)$. В координате $p$ естественный градиентный поток имеет вид

$$\frac{dp}{dt} =-p(1-p)\frac{dL}{dp}.$$

В логит-координате

$$\frac{dL}{dz} = \frac{dL}{dp}p(1-p), \qquad G_z=p(1-p),$$

поэтому

$$\frac{dz}{dt} =-G_z^{-1}\frac{dL}{dz} =-\frac{dL}{dp}.$$

После обратного преобразования:

$$\frac{dp}{dt} =p(1-p)\frac{dz}{dt} =-p(1-p)\frac{dL}{dp}.$$

Обе системы координат описывают один и тот же непрерывный поток распределений. Обычный градиентный поток такого свойства не имеет.

Это и есть сильный положительный результат естественного градиента: векторное поле не зависит от гладкой взаимно однозначной перепараметризации статистической модели.

Почему конечный шаг всё же зависит от реализации

Практический алгоритм делает не бесконечно малое движение, а шаг Эйлера:

$$\theta_{t+1} = \theta_t- \rho G(\theta_t)^{-1}g_t.$$

После нелинейной замены координат конечные точки такого шага совпадают только с точностью первого порядка по $\rho$. Для точной конечной инвариантности потребовалась бы геодезическая интеграция или согласованная ретракция на многообразии.

Поэтому на практике важны:

• малый или адаптивно выбранный шаг;
• проверка фактического KL после обновления;
• линейный поиск;
• демпфирование;
• качество приближения матрицы кривизны.

Демпфированный шаг

$$(G+\lambda I)^{-1}g$$

часто необходим численно. Но добавка $\lambda I$ вводит в задачу евклидову часть и тем самым меняет исходную геометрию. Это полезная инженерная уступка, а не нейтральная деталь.

Естественный градиент и метод Ньютона

Метод Ньютона использует гессиан самой целевой функции:

$$\delta_{\mathrm N} =-H_L^{-1}g.$$

Естественный градиент использует Fisher статистической модели:

$$\delta_{\mathrm{NG}} =-G^{-1}g.$$

Они могут совпадать в специальных постановках правдоподобия — например, на уровне ожидаемой отрицательной логарифмической функции правдоподобия при подходящей спецификации модели. В нейросетях Fisher также тесно связана с обобщённой матрицей Гаусса—Ньютона для ряда выходных распределений экспоненциального семейства. Но эмпирический гессиан, модельная Fisher и GGN в общем случае различны. Подробный разбор этой связи и её практических последствий дан у Martens, 2020.

Полезно запомнить:

Обратная Fisher не является магическим ускорителем. Она меняет единицы измерения шага так, чтобы одинаковый бюджет означал примерно одинаковое изменение распределения.

15.4. Что именно называют «кривизной» в глубокой сети

Полную матрицу Fisher модели с миллиардами параметров нельзя хранить и обращать напрямую. Но прежде чем обсуждать приближения, нужно понять, к какой матрице они вообще относятся.

Модельная Fisher

Для условной модели $p_\theta(y\mid x)$ и выбранного распределения входов $\rho(x)$:

$$\boxed{ G_{\mathrm{model}}(\theta) = \mathbb E_{x\sim\rho} \mathbb E_{y\sim p_\theta(\cdot\mid x)} \left[ g_\theta(x,y)g_\theta(x,y)^\top \right] },$$

где

$$g_\theta(x,y) = \nabla_\theta\log p_\theta(y\mid x).$$

Ключевая деталь: внутреннее ожидание по метке берётся из текущей модели.

Эмпирическая Fisher

На наборе данных часто вычисляют

$$\widehat G_{\mathrm{emp}} = \frac1n\sum_{i=1}^n g_\theta(x_i,y_i)g_\theta(x_i,y_i)^\top.$$

Здесь метки $y_i$ пришли из данных, а не из $p_\theta(\cdot\mid x_i)$. Поэтому эта матрица является вторым моментом пообъектных градиентов, вычисленных по данным, но в общем случае не является несмещённой оценкой модельной Fisher и не обязана приближать гессиан. Это различие подробно анализируют Kunstner, Balles и Hennig, 2019.

Небольшой пример показывает масштаб расхождения. Для Bernoulli-модели в логит-координате:

$$G_{\mathrm{model}} =p(1-p).$$

Если истинная доля единиц в данных равна $q$, то популяционный второй момент наблюдаемого градиента равен

$$G_{\mathrm{data}} =q(1-p)^2+(1-q)p^2.$$

При

$$q=0.8, \qquad p=0.2$$

получаем

$$G_{\mathrm{model}}=0.16, \qquad G_{\mathrm{data}}=0.52.$$

Обе величины построены из квадратов градиентов, но отвечают на разные вопросы.

Обобщённая матрица Гаусса—Ньютона

Пусть сеть выдаёт $f_\theta(x)$, а функция потерь по выходу равна $\ell(f,y)$. GGN использует

$$G_{\mathrm{GGN}} = \mathbb E \left[ J_f^\top H_{\ell,f} J_f \right],$$

где $J_f$ — якобиан выходов по параметрам, а $H_{\ell,f}$ — гессиан функции потерь по выходам. Если $\ell$ выпукла по $f$, GGN положительно полуопределена. Для некоторых вероятностных моделей она совпадает с соответствующей Fisher, но это требует конкретной параметризации выходного распределения и функции потерь.

K-FAC, Adam и Shampoo

K-FAC приближает крупные блоки Fisher или GGN произведениями Кронекера:

$$G_{\mathrm{layer}} \approx A\otimes B.$$

Матрица $A$ описывает статистику входных активаций слоя, а $B$ — статистику сигналов обратного распространения. Такое разложение позволяет сравнительно дёшево применять приближённую обратную матрицу. Но оно сохраняет только часть корреляционной структуры и требует демпфирования. Именно как приближение естественного градиента K-FAC вводится у Martens и Grosse, 2015.

Adam накапливает покоординатные первые и вторые моменты стохастических градиентов и использует масштабирование вида

$$\frac1{\sqrt{v_t}+\epsilon}.$$

Это адаптивный диагональный предобусловливатель. Квадраты градиентов могут напоминать диагональ эмпирической Fisher, но Adam не обращает модельную Fisher и не обладает полной инвариантностью естественного градиента.

Shampoo строит структурированные матрицы вторых моментов по осям тензора. Он родственен full-matrix AdaGrad и использует больше структуры, чем покоординатные методы, но по умолчанию не является Fisher-аппроксимацией.

Вот и вся практическая мораль раздела: слово «кривизна» не называет одну универсальную матрицу. Каждый метод решает, какие зависимости сохранить, какие отбросить и сколько вычислений на это потратить.

15.5. Геометрия политик: NPG, TRPO, PPO и KL в RLHF

Политика уже сама является условным распределением:

$$\pi_\theta(a\mid s).$$

Поэтому идея малого изменения распределения здесь особенно естественна. Для выбранного распределения состояний $d(s)$ матрица Fisher политики равна

$$G_\pi(\theta) = \mathbb E_{s\sim d, a\sim\pi_\theta} \left[ \nabla_\theta\log\pi_\theta(a\mid s) \nabla_\theta\log\pi_\theta(a\mid s)^\top \right].$$

Естественный градиент политики:

$$\widetilde\nabla J =G_\pi^\dagger\nabla J.$$

Он масштабирует шаг так, чтобы чувствительные направления в распределении действий менялись осторожнее.

TRPO: доверительная область в пространстве политик

TRPO начинает с локальной суррогатной целевой функции и ограничивает среднее изменение политики:

$$\boxed{ \mathbb E_{s\sim d^{\pi_{\mathrm{old}}}} D_{\mathrm{KL}} \left( \pi_{\mathrm{old}}(\cdot\mid s) \|\pi_\theta(\cdot\mid s) \right) \le\delta }.$$

После линеаризации цели и квадратичной аппроксимации KL возникает та же задача, что в §15.3, а значит — направление естественного градиента. Практический TRPO применяет сопряжённые градиенты и линейный поиск, а не строит точную геодезическую. Исходная работа прямо выводит практический алгоритм как последовательность приближений к теоретически мотивированному обновлению в области доверия. (Schulman et al., 2015)

Важно различать два уровня:

• теоретические гарантии улучшения используют более сильный контроль распределительного сдвига;
• практический алгоритм контролирует эмпирический средний KL и проверяет шаг численно.

PPO: полезная прокси, но не строгая область доверия

PPO использует отношение вероятностей

$$r_t = \frac{\pi_\theta(a_t\mid s_t)} {\pi_{\mathrm{old}}(a_t\mid s_t)}$$

и клиппированную суррогатную цель

$$L^{\mathrm{clip}} = \mathbb E \left[ \min \left( r_tA_t, \operatorname{clip}(r_t,1-\varepsilon,1+\varepsilon)A_t \right) \right].$$

Это позволяет делать несколько эпох обновлений на одном пакете данных и часто стабилизирует обучение. Но clipping контролирует отношения для действий, попавших в выборку, а не всю политику.

Контрпример можно записать в трёх числах. Пусть

$$\pi_{\mathrm{old}} =(0.50,0.49,0.01),$$

а в пакете встретилось только первое действие. Рассмотрим семейство

$$\pi_q =(0.50,q,0.50-q).$$

Отношение вероятностей фактически выбранного действия всегда равно единице, поэтому соответствующий sampled surrogate не меняется. Но

$$D_{\mathrm{KL}} (\pi_{\mathrm{old}}\|\pi_q) \supset 0.49\log\frac{0.49}{q} \longrightarrow\infty$$

при $q\to0$. Следовательно, clipping не является глобальным ограничением на KL. Именно поэтому реализации часто дополнительно мониторят KL, используют раннюю остановку или явный штраф. PPO был предложен как более простой first-order метод с некоторыми практическими преимуществами TRPO, а не как точное решение той же constrained-задачи. (Schulman et al., 2017)

Два разных KL в RLHF

В RLHF и похожих процедурах легко смешать два ограничения.

1. Пошаговый KL сравнивает текущую политику со снимком, который породил данные этого обновления. Его задача — не дать одному шагу стать слишком большим.
2. KL к фиксированной базовой политике сравнивает текущую модель с SFT- или базовой моделью. Его задача — ограничивать накопленный дрейф на всём протяжении обучения.

Удобно сформулировать различие так:

TRPO спрашивает: «насколько далеко мы ушли за этот шаг?» Reference KL спрашивает: «насколько далеко мы ушли от исходной модели вообще?»

Для фиксированного контекста идеальная задача

$$\max_\pi \left \{ \mathbb E_\pi[r] - \beta D_{\mathrm{KL}}(\pi\|\pi_{\mathrm{ref}}) \right \}$$

имеет точный Gibbs-оптимум

$$\boxed{ \pi^*(y) \propto \pi_{\mathrm{ref}}(y)e^{r(y)/\beta} }.$$

Полный вывод уже был в Модуле 8. Здесь важно увидеть геометрию: KL задаёт цену ухода от базового распределения, а экспоненциальный наклон является точным проксимальным решением идеализированной задачи.

DPO использует эту аналитическую связь, чтобы выразить предпочтения через логарифмическое отношение вероятностей политики и базовой модели. Но DPO не выполняет обновление естественного градиента или шаг TRPO на каждом мини-пакете. Одинаковая KL-структура ещё не делает алгоритмы тождественными.

И ещё одна граница: KL между политиками в RLHF сравнивает распределения ответов, тогда как PAC-Bayes KL из Модуля 12 сравнивает распределения над гипотезами. Совпадение формулы не переносит сертификат обобщения из одной постановки в другую.

15.6. Wasserstein-геометрия и потоки распределений

Fisher хорошо отвечает на вопрос о различимости соседних моделей. Но иногда главная структура находится не в параметрах, а в самом пространстве наблюдений.

Рассмотрим две точечные массы:

$$P=\delta_0, \qquad Q_\varepsilon=\delta_\varepsilon.$$

Для любого $\varepsilon\ne0$ их носители не пересекаются. Поэтому обе направленные KL бесконечны, полная вариация равна единице, а Jensen–Shannon равна $\log2$ — независимо от того, находится ли вторая точка на расстоянии $10^{-6}$ или $10^6$.

Wasserstein видит именно то, что здесь важно:

$$W_2(P,Q_\varepsilon)=|\varepsilon|.$$

Он использует геометрию пространства данных.

Определение через транспортный план

При квадратичной стоимости

$$\boxed{ W_2^2(P,Q) = \inf_{\gamma\in\Pi(P,Q)} \mathbb E_{(X,Y)\sim\gamma} \|X-Y\|^2 }.$$

Связка $\gamma$ (coupling) определяет, какую массу из $P$ сопоставить какой массе из $Q$. Базовая метрика — часть постановки. Если одну координату измерять в метрах, а другую в миллиметрах, транспортная стоимость изменится.

Динамическая форма

Формула Бенаму—Бренье записывает ту же стоимость как минимальное кинетическое действие:

$$W_2^2(P_0,P_1) = \inf_{p_t,v_t} \int_0^1 \int \|v_t(x)\|^2p_t(x)\,dx\,dt$$

при уравнении непрерывности

$$\partial_tp_t + \nabla\cdot(p_tv_t) =0.$$

Теперь точка пространства — целое распределение $p_t$, а векторное поле $v_t$ переносит его массу. Не всякий путь между $P_0$ и $P_1$ является геодезической: геодезика должна минимизировать действие.

Непрерывный нормализующий поток

Пусть отдельная частица движется по ODE:

$$\frac{dx_t}{dt} =v_t(x_t).$$

Тогда плотность вдоль траектории изменяется по формуле

$$\boxed{ \frac{d}{dt}\log p_t(x_t) =-\nabla\cdot v_t(x_t) }.$$

Это непрерывный аналог формулы замены переменных и основа непрерывных нормализующих потоков (continuous normalizing flows). Neural ODE показали, как обучать такие модели и вычислять логарифм правдоподобия через интеграл дивергенции. (Chen et al., 2018)

Flow Matching: сначала выбирается путь

Flow Matching не начинает с неизвестного логарифма плотности. Сначала выбирается семейство промежуточных распределений или условных путей, затем нейросеть обучается регрессией к векторному полю, которое реализует выбранную эволюцию.

Главная свобода здесь двойная:

• какую связку между начальными и конечными точками выбрать;
• какой путь между связанными точками использовать.

Одна и та же пара маргинальных распределений допускает множество связок, а значит — множество скоростей и траекторий. В частности, Flow Matching совместим и с diffusion-путями, и с путями, построенными через оптимальный транспорт. Это часть исходной постановки метода, а не последующее переименование. (Lipman et al., 2022)

В одномерном гауссовском случае разницу видно особенно чисто. Пусть

$$X_0=\mu_0+\sigma_0Z, \qquad X_1=\mu_1+\sigma_1Z$$

с общим $Z\sim\mathcal N(0,1)$. Линейная интерполяция

$$X_t=(1-t)X_0+tX_1$$

даёт Wasserstein-геодезическую между гауссовскими маргиналами. Если же $X_0$ и $X_1$ выбрать независимо, конечные маргиналы останутся теми же, но кинетическое действие станет больше. Связка — не служебная деталь; она определяет геометрию траекторий.

Rectified Flow

Rectified Flow обучает ODE следовать прямым линиям между парами из выбранной связки и может повторно «выпрямлять» полученный транспорт. Исходная работа показывает, что rectification не увеличивает выпуклые транспортные стоимости выбранной связки и способна давать траектории, удобные для грубой дискретизации. (Liu, Gong и Liu, 2022)

Но отсюда не следует, что любой обученный rectified flow автоматически является точным отображением оптимального транспорта или глобальной Wasserstein-геодезической. Прямизна отдельных траекторий, качество выбранной связки, ошибка регрессии и ошибка численного интегратора — разные вопросы.

Probability-flow ODE и diffusion

Для SDE

$$dX_t =f(X_t,t)dt+g(t)dW_t$$

со скалярным коэффициентом диффузии соответствующая probability-flow ODE имеет дрейф

$$\boxed{ \frac{dX_t}{dt} =f(X_t,t) - \frac12g(t)^2 \nabla_x\log p_t(X_t) }.$$

При точной скор-функции SDE и ODE имеют одинаковые одномоментные маргинальные распределения $p_t$. Но их траектории и связки различаются: одна динамика стохастическая, другая детерминированная. Именно такую эквивалентную Neural ODE выводит формализм score-based SDE. (Song et al., 2021)

Наконец, не смешивайте две скор-функции:

$$\nabla_x\log p_t(x)$$

— градиент лог-плотности по наблюдению, используемый в diffusion;

$$G(\theta)^{-1}\nabla_\theta L$$

— естественный градиент по параметрам модели. Оба выражения содержат слово «градиент» и работают с распределениями, но живут в разных пространствах.

15.7. Экспоненциальные семейства, двойственные координаты и зеркальный спуск

В Модуле 8 мы подробно вывели экспоненциальное семейство:

$$p_\theta(x) =h(x) \exp\left( \theta^\top T(x)-A(\theta) \right).$$

Теперь та же конструкция получает геометрическое чтение.

Параметры ожиданий равны

$$\eta =\nabla A(\theta) =\mathbb E_\theta[T(X)],$$

а Fisher:

$$\boxed{ G(\theta) =\nabla^2A(\theta) =\operatorname{Cov}_\theta(T(X)) }.$$

KL между двумя членами семейства является дивергенцией Брэгмана лог-нормировки:

$$\boxed{ D_{\mathrm{KL}} (p_{\theta_1}\|p_{\theta_2}) = B_A(\theta_2,\theta_1) }.$$

Обратите внимание на порядок: касательная к $A$ берётся в точке $\theta_1$, а значение сравнивается в $\theta_2$. В двойственных координатах:

$$D_{\mathrm{KL}} (p_{\theta_1}\|p_{\theta_2}) = B_{A^*}(\eta_1,\eta_2).$$

Натуральные координаты $\theta$ и координаты ожиданий $\eta$ образуют две аффинные системы, связанные преобразованием Лежандра. Это и есть смысл двойственно плоской (dually flat) структуры. Слово «плоская» относится к паре e/m-связностей, а не обещает нулевую риманову кривизну метрики Fisher–Rao. В §15.9 гауссовское семейство даст явный контрпример.

Зеркальный спуск

Зеркальный шаг имеет вид

$$w_{t+1} = \arg\min_w \left\{ \rho g_t^\top w +D_\psi(w,w_t) \right\},$$

где $D_\psi$ — дивергенция Брэгмана выпуклой функции $\psi$.

На вероятностном симплексе естественный выбор

$$\psi(p)=\sum_i p_i\log p_i$$

даёт

$$D_\psi(p,q) =D_{\mathrm{KL}}(p\|q).$$

Решение шага:

$$\boxed{ p_{t+1,i} = \frac{ p_{t,i}e^{-\rho g_{t,i}} }{ \sum_jp_{t,j}e^{-\rho g_{t,j}} } }.$$

Это знакомый по Модулю 8 экспоненциальный наклон. Там он возникал как MaxEnt- или KL-регуляризованный оптимум; здесь — как проксимальное обновление на симплексе.

Локально дивергенция Брэгмана задаётся гессианом:

$$D_\psi(w+dw,w) = \frac12dw^\top\nabla^2\psi(w)dw +o(\|dw\|^2).$$

Поэтому зеркальный спуск и естественный градиент тесно связаны через соответствующую локальную метрику; для экспоненциальных семейств связь особенно точна в двойственных координатах. Но глобально это не один алгоритм для произвольного $\psi$ и конечного шага. Зеркальный спуск использует всю асимметричную дивергенцию Брэгмана, а естественный градиент — локальную квадратичную метрику. Эту эквивалентность в двойственной геометрии экспоненциальных семейств подробно разбирают Raskutti и Mukherjee, 2013.

15.8. Практическая карта: сначала выберите объект, затем геометрию

После всех формул легко сделать последнюю чрезмерно сильную попытку: объявить Fisher «истинной геометрией ML» или, наоборот, заменить её Wasserstein. Правильная карта скромнее и полезнее.

Перед применением геометрического языка полезно задать пять вопросов.

1. Какой объект мы обновляем? Параметры, распределение ответов, представление или путь выборок?
2. Что должно считаться малым? KL, транспортная стоимость, изменение логитов, функциональная ошибка?
3. Локальна ли используемая аппроксимация? Если да, достаточно ли мал фактический шаг?
4. Какую матрицу или дивергенцию код реально вычисляет? модельную Fisher, эмпирическую Fisher, GGN или лишь диагональный момент?
5. Что проверяется после обновления? Фактический KL, качество на задаче, стоимость интегрирования, реальный дрейф политики?

Главный синтез модуля можно выразить одной строкой:

Геометрия не выбирает цель обучения. Она определяет, какие движения считаются близкими во время её оптимизации.

Естественный градиент не исправляет неверную награду. Wasserstein не гарантирует удобный путь для конечной нейросети. K-FAC не делает невыпуклую задачу выпуклой. Но правильная геометрия может убрать искусственную зависимость от координат, сделать область доверия содержательной и подсказать, какую структуру кривизны стоит сохранять.

15.9. Математическое углубление: α-геометрия и точные примеры

Можно пропустить при первом чтении. Основной ML-маршрут завершён. Здесь мы уточним, как одна и та же Fisher-метрика сосуществует с разными асимметричными связностями, и посмотрим на две геодезии, которые можно записать в закрытой форме.

α-дивергенции в соглашении Амари

Для $\alpha\ne\pm1$:

$$\boxed{ D^{(\alpha)}(P\|Q) = \frac{4}{1-\alpha^2} \left[ 1- \int p^{(1-\alpha)/2} q^{(1+\alpha)/2} \right] }.$$

Пределы:

$$\alpha\to-1: \qquad D^{(\alpha)}(P\|Q) \longrightarrow D_{\mathrm{KL}}(P\|Q),$$ $$\alpha\to+1: \qquad D^{(\alpha)}(P\|Q) \longrightarrow D_{\mathrm{KL}}(Q\|P).$$

При $\alpha=0$ получается постоянный множитель квадрата расстояния Хеллингера.

Это параметр α-геометрии Амари, а не порядок дивергенции Реньи. У разных авторов встречаются другие знаки и масштабы, поэтому пределы нужно проверять рядом с определением.

Все гладкие α-дивергенции этого семейства порождают одну и ту же Fisher-метрику во втором порядке. Различие появляется в третьем порядке и задаёт разные аффинные связности:

• $\alpha=+1$ — e-связность;
• $\alpha=-1$ — m-связность;
• $\alpha=0$ — связность Леви—Чивиты Fisher-метрики.

Это важная концептуальная точка: метрика описывает локальную длину, но одной метрики недостаточно, чтобы восстановить асимметрию дивергенции и понятие прямой линии.

Категориальное распределение как часть сферы

Для распределения $p=(p_1,\ldots,p_K)$ внутри симплекса Fisher-элемент длины равен

$$ds^2 = \sum_{i=1}^K\frac{dp_i^2}{p_i}, \qquad \sum_i dp_i=0.$$

Сделаем замену

$$\psi_i=2\sqrt{p_i}.$$

Тогда

$$\sum_i\psi_i^2=4$$

и

$$ds^2=\sum_i d\psi_i^2.$$

То есть внутренность вероятностного симплекса отображается в положительный ортант сферы радиуса $2$. Отсюда точное расстояние:

$$\boxed{ d_{\mathrm{FR}}(P,Q) = 2\arccos \left( \sum_i\sqrt{p_iq_i} \right) }.$$

Для $K=2$ эта формула сводится к Bernoulli-расстоянию из §15.2. Коэффициент

$$\sum_i\sqrt{p_iq_i}$$

уже встречался в Модуле 11 как коэффициент Бхаттачарьи и в расстоянии Хеллингера. Здесь он становится косинусом сферического угла.

Геодезическая Bernoulli

В координате

$$u=2\arcsin\sqrt p$$

геодезика является обычной прямой:

$$u(t)=(1-t)u(p_0)+tu(p_1).$$

Возвращаясь к вероятности:

$$\boxed{ p(t) = \sin^2 \left( \frac{u(t)}2 \right) }.$$

Она не совпадает с линейной интерполяцией вероятностей $(1-t)p_0+tp_1$.

Нормальное семейство и гиперболическая плоскость

Для

$$X\sim\mathcal N(\mu,\sigma^2)$$

Fisher в координатах $(\mu,\sigma)$:

$$G(\mu,\sigma) = \begin{pmatrix} 1/\sigma^2&0\\ 0&2/\sigma^2 \end{pmatrix}.$$

Положим

$$x=\frac\mu{\sqrt2}, \qquad y=\sigma.$$

Тогда

$$ds^2 =2\frac{dx^2+dy^2}{y^2}.$$

Это масштабированная метрика верхней полуплоскости Пуанкаре с постоянной гауссовой кривизной

$$K=-\frac12.$$

Таким образом, нормальное семейство является экспоненциальным и двойственно плоским, но не плоским в римановом смысле Леви—Чивиты. Два слова «плоский» относятся к разным связностям.

Теорема Ченцова

В классической конечномерной статистике теорема Ченцова, грубо говоря, утверждает: с точностью до общего множителя Fisher–Rao является единственной римановой метрикой на вероятностных симплексах, согласованной с достаточными статистиками и подходящими стохастическими отображениями.

Это сильное обоснование Fisher как статистической геометрии. Но оно не говорит, что Fisher обязана быть правильной стоимостью переноса изображений, физических координат или скрытых состояний. Базовая метрика пространства данных в теорему не входит. Wasserstein отвечает на другой вопрос — поэтому конкуренции между двумя конструкциями нет.

15.11. Заключение

К концу курса знакомые информационные величины получили ещё одну роль. Энтропия и KL начинались как счета за неопределённость и несовпадение моделей. Теперь их второй порядок задаёт локальную форму пространства распределений, а эта форма меняет само понятие градиентного шага.

Три вопроса помогают не потеряться:

• Fisher–Rao: насколько различимы соседние вероятностные модели?
• Дивергенции Брэгмана и зеркальный спуск: как обновить распределение, уважая геометрию его ограничений?
• Wasserstein: сколько стоит физически перенести вероятностную массу в пространстве данных?

Их нельзя бездумно заменять друг другом. Но вместе они дают зрелую карту современных ML-методов:

$$\boxed{ \begin{array}{c} \text{локальная различимость} \longrightarrow \text{естественный градиент и область доверия} \\[1mm] \text{асимметричная проксимальная цена} \longrightarrow \text{зеркальные и экспоненциальные обновления} \\[1mm] \text{стоимость переноса массы} \longrightarrow \text{CNF, Flow Matching и diffusion paths} \end{array} }.$$

Главный урок не в том, что каждый популярный алгоритм «на самом деле» является одной геометрической теоремой. Он в другом:

Сначала определите объект, затем смысл близости, и только после этого выбирайте геометрию и её вычислимое приближение.

Так информационная геометрия завершает курс не новым универсальным лозунгом, а дисциплиной постановки задачи. Формула становится сильнее, когда мы точно знаем, что она измеряет — и где её обещание заканчивается.

Основные источники

1. S.-I. Amari, «Information Geometry and Its Applications», Springer, 2016.
2. S.-I. Amari, «Natural Gradient Works Efficiently in Learning», 1998.
3. J. Martens, «New Insights and Perspectives on the Natural Gradient Method», 2020.
4. J. Martens, R. Grosse, «Optimizing Neural Networks with Kronecker-factored Approximate Curvature», 2015.
5. F. Kunstner, L. Balles, P. Hennig, «Limitations of the Empirical Fisher Approximation», 2019.
6. S. Kakade, «A Natural Policy Gradient», NeurIPS 2001.
7. J. Schulman et al., «Trust Region Policy Optimization», 2015.
8. J. Schulman et al., «Proximal Policy Optimization Algorithms», 2017.
9. R. Rafailov et al., «Direct Preference Optimization», 2023.
10. R. T. Q. Chen et al., «Neural Ordinary Differential Equations», 2018.
11. Y. Lipman et al., «Flow Matching for Generative Modeling», 2022.
12. X. Liu, C. Gong, Q. Liu, «Flow Straight and Fast», 2022.
13. Y. Song et al., «Score-Based Generative Modeling through Stochastic Differential Equations», 2021.
14. G. Raskutti, S. Mukherjee, «The Information Geometry of Mirror Descent», 2013.