Теория информации для машинного обучения15 / 16

Модуль 15. Информационная геометрия: Fisher, естественный градиент и потоки распределений

Выберите ответы и нажмите «Проверить». Для чисел подходят точка, запятая и простые дроби. Ответы и черновики сохраняются в этом браузере и общие для RU/EN.

Проверено: 0 / 25 · Верно: 0

Вопрос 15.2.1

15.2. Информация Фишера и локальная геометрия KL

Что измеряет метрика Fisher–Rao?

Один правильный вариантAЛокальную статистическую различимость распределенийBГлобальную стоимость переноса массыCЕвклидову длину весовDТолько дисперсию скор-функции на данных

A) Локальную статистическую различимость распределений

B) Глобальную стоимость переноса массы

C) Евклидову длину весов

D) Только дисперсию скор-функции на данных

Ответ и разбор

Правильный ответ: A. Локальная квадратичная форма Fisher описывает различимость соседних моделей.

Вопрос 15.2.2

15.2. Информация Фишера и локальная геометрия KL

Какой квадратичный член имеет локальный KL?

Один правильный вариантA

d\theta^\top G\,d\theta

\tfrac12 d\theta^\top G\,d\theta

d\theta^\top H^2 d\theta

\|d\theta\|_1

A) $d\theta^\top G\,d\theta$

B) $\tfrac12 d\theta^\top G\,d\theta$

C) $d\theta^\top H^2 d\theta$

D) $\|d\theta\|_1$

Ответ и разбор

Правильный ответ: B. При условиях регулярности D_KL=1/2 dθᵀ G dθ+o(‖dθ‖²).

Вопрос 15.2.3

15.2. Информация Фишера и локальная геометрия KL

Почему KL не является римановым расстоянием?

Один правильный вариантAОна асимметрична и не удовлетворяет неравенству треугольникаBОна всегда бесконечнаCОна зависит только от координат параметровDОна равна Fisher только на симплексе

A) Она асимметрична и не удовлетворяет неравенству треугольника

B) Она всегда бесконечна

C) Она зависит только от координат параметров

D) Она равна Fisher только на симплексе

Ответ и разбор

Правильный ответ: A. Fisher возникает из локального второго порядка KL, но сама KL не является метрикой.

Вопрос 15.2.4

15.2. Информация Фишера и локальная геометрия KL

Что требуется для положительной определённости Fisher?

Один правильный вариантAБольшой пакет примеровBЛокальная идентифицируемостьCРавномерное априорное распределениеDВыпуклость нейросети

A) Большой пакет примеров

B) Локальная идентифицируемость

C) Равномерное априорное распределение

D) Выпуклость нейросети

Ответ и разбор

Правильный ответ: B. При избыточной параметризации Fisher может быть сингулярной.

Вопрос 15.2.5

15.2. Информация Фишера и локальная геометрия KL

Как Fisher преобразуется при $\theta=\theta(\phi)$ , если $J=\partial\theta/\partial\phi$ ?

Один правильный вариантA

G_\phi=J^\top G_\theta J

G_\phi=JG_\theta J^\top

G_\phi=G_\theta+J

G_\phi=J^{-1}G_\theta

A) $d\theta^\top G\,d\theta$

B) $G_\phi=JG_\theta J^\top$

C) $G_\phi=G_\theta+J$

D) $G_\phi=J^{-1}G_\theta$

Ответ и разбор

Правильный ответ: A. Это закон преобразования метрического тензора.

Вопрос 15.3.1

15.3. Естественный градиент (natural gradient): шаг в пространстве распределений

Естественный градиент для минимизации равен…

Один правильный вариантA

Gg

H^{-1}g

\operatorname{diag}(G)g

G^\dagger g

A) $d\theta^\top G\,d\theta$

B) $H^{-1}g$

C) $\operatorname{diag}(G)g$

D) $G^\dagger g$

Ответ и разбор

Правильный ответ: D. Направление спуска равно -G† g; сам естественный градиент равен G† g.

Вопрос 15.3.2

15.3. Естественный градиент (natural gradient): шаг в пространстве распределений

Что корректно инвариантно при гладкой перепараметризации?

Один правильный вариантAВекторное поле естественного градиентаBЛюбой конечный шаг ЭйлераCРасписание шага обученияDБуфер импульса

A) Векторное поле естественного градиента

B) Любой конечный шаг Эйлера

C) Расписание шага обучения

D) Буфер импульса

Ответ и разбор

Правильный ответ: A. Конечный координатный шаг сохраняет инвариантность лишь в первом порядке.

Вопрос 15.3.3

15.3. Естественный градиент (natural gradient): шаг в пространстве распределений

Естественный градиент и метод Ньютона совпадают…

Один правильный вариантAВсегда для кросс-энтропииBТолько в обучении с подкреплениемCНикогдаDТолько при дополнительных условиях

A) Всегда для кросс-энтропии

B) Только в обучении с подкреплением

C) Никогда

D) Только при дополнительных условиях

Ответ и разбор

Правильный ответ: D. Fisher и Hessian — разные объекты, хотя в специальных постановках правдоподобия они могут совпадать.

Вопрос 15.4.1

15.4. Какая «кривизна» реально используется в глубоком обучении

Откуда берутся метки во внутреннем ожидании модельной Fisher условной модели?

Один правильный вариантAИз текущей модели

p_\theta(y\mid x)

BИз валидационного набораCИз жёсткого argmaxDИз эмпирических частот классов

A) Из текущей модели $d\theta^\top G\,d\theta$

B) Из валидационного набора

C) Из жёсткого argmax

D) Из эмпирических частот классов

Ответ и разбор

Правильный ответ: A. Внутреннее ожидание модельной Fisher берётся по y~p_θ(·|x).

Вопрос 15.4.2

15.4. Какая «кривизна» реально используется в глубоком обучении

Что такое эмпирическая Fisher?

Один правильный вариантAВторой момент наблюдаемых пообъектных градиентовBFisher после отбеливанияCТочный гессианDМатрица признаков

A) Второй момент наблюдаемых пообъектных градиентов

B) Fisher после отбеливания

C) Точный гессиан

D) Матрица признаков

Ответ и разбор

Правильный ответ: A. Она использует метки из данных и не обязана совпадать с модельной Fisher.

Вопрос 15.4.3

15.4. Какая «кривизна» реально используется в глубоком обучении

Как точнее всего описать Adam?

Один правильный вариантAРешатель для обратной FisherBТочный диагональный естественный градиентCАдаптивное диагональное масштабирование по моментам градиентовDМетод Ньютона без гессиана

A) Решатель для обратной Fisher

B) Точный диагональный естественный градиент

C) Адаптивное диагональное масштабирование по моментам градиентов

D) Метод Ньютона без гессиана

Ответ и разбор

Правильный ответ: C. Квадраты градиентов могут напоминать эмпирические моменты, но это не модельная Fisher.

Вопрос 15.4.4

15.4. Какая «кривизна» реально используется в глубоком обучении

Что обычно аппроксимирует K-FAC?

Один правильный вариантAМетрику WassersteinBБлоки Fisher/GGN произведениями КронекераCТолько скалярную дисперсию градиентаDПолный гессиан без допущений

A) Метрику Wasserstein

B) Блоки Fisher/GGN произведениями Кронекера

C) Только скалярную дисперсию градиента

D) Полный гессиан без допущений

Ответ и разбор

Правильный ответ: B. K-FAC использует факторизацию Кронекера и демпфирование.

Вопрос 15.5.1

15.5. Геометрия политик: NPG, TRPO, PPO и KL в RLHF

Как ориентирован средний KL в практическом TRPO?

Один правильный вариантA

D_{\mathrm{KL}}(\pi_{\mathrm{new}}\|\pi_{\mathrm{old}})

D_{\mathrm{KL}}(\pi_{\mathrm{old}}\|\pi_{\mathrm{new}})

CСимметричная дивергенция Jensen–ShannonD

D_{\mathrm{KL}}(\pi_{\mathrm{ref}}\|\text{данные})

A) $d\theta^\top G\,d\theta$

B) $D_{\mathrm{KL}}(\pi_{\mathrm{old}}\|\pi_{\mathrm{new}})$

C) Симметричная дивергенция Jensen–Shannon

D) $D_{\mathrm{KL}}(\pi_{\mathrm{ref}}\|\text{данные})$

Ответ и разбор

Правильный ответ: B. Практическое ограничение обычно использует D_KL(π_old‖π_new).

Вопрос 15.5.2

15.5. Геометрия политик: NPG, TRPO, PPO и KL в RLHF

Почему PPO clipping не гарантирует глобальную область доверия?

Один правильный вариантAОн не использует градиентыBОн требует точный гессианCОн контролирует отношения вероятностей наблюдавшихся действий, а не всю политикуDОн всегда увеличивает KL

A) Он не использует градиенты

B) Он требует точный гессиан

C) Он контролирует отношения вероятностей наблюдавшихся действий, а не всю политику

D) Он всегда увеличивает KL

Ответ и разбор

Правильный ответ: C. Масса может перераспределиться между действиями, не попавшими в мини-пакет.

Вопрос 15.5.3

15.5. Геометрия политик: NPG, TRPO, PPO и KL в RLHF

KL к фиксированному референсу в RLHF отличается от TRPO-KL тем, что…

Один правильный вариантAВсегда симметричнаBСравнивает текущую политику с фиксированной базовой или SFT-политикойCНе использует вероятностиDЯвляется PAC-Bayes-границей

A) Всегда симметрична

B) Сравнивает текущую политику с фиксированной базовой или SFT-политикой

C) Не использует вероятности

D) Является PAC-Bayes-границей

Ответ и разбор

Правильный ответ: B. Фиксированный референс ограничивает накопленный дрейф, а TRPO — очередное локальное обновление.

Вопрос 15.5.4

15.5. Геометрия политик: NPG, TRPO, PPO и KL в RLHF

Как выглядит идеальный KL-регуляризованный оптимум политики?

Один правильный вариантA

\pi^*=\pi_{\mathrm{ref}}+\beta r

\pi^*\propto\exp(-r)

\pi^*\propto\pi_{\mathrm{ref}}\exp(r/\beta)

\pi^*=\arg\max r

без референсной политики

A) $d\theta^\top G\,d\theta$

B) $\pi^*\propto\exp(-r)$

C) $\pi^*\propto\pi_{\mathrm{ref}}\exp(r/\beta)$

D) $\pi^*=\arg\max r$ без референсной политики

Ответ и разбор

Правильный ответ: C. Это Gibbs-распределение, полученное экспоненциальным наклоном базовой политики.

Вопрос 15.6.1

15.6. Другая геометрия: Wasserstein, CNF и Flow Matching

Что измеряет расстояние Wasserstein-2?

Один правильный вариантAЛокальную Fisher-нормуBКривизну пространства параметровCТолько перекрытие носителейDМинимальную ожидаемую квадратичную стоимость переноса

A) Локальную Fisher-норму

B) Кривизну пространства параметров

C) Только перекрытие носителей

D) Минимальную ожидаемую квадратичную стоимость переноса

Ответ и разбор

Правильный ответ: D. Wasserstein использует базовую метрику и связку.

Вопрос 15.6.2

15.6. Другая геометрия: Wasserstein, CNF и Flow Matching

Когда Flow Matching задаёт Wasserstein-геодезическую?

Один правильный вариантAВсегдаBТолько при diffusion-путиCПри оптимальной связке и интерполяции смещенияDТолько для дискретных данных

A) Всегда

B) Только при diffusion-пути

C) При оптимальной связке и интерполяции смещения

D) Только для дискретных данных

Ответ и разбор

Правильный ответ: C. Общий Flow Matching допускает другие пути и связки.

Вопрос 15.6.3

15.6. Другая геометрия: Wasserstein, CNF и Flow Matching

Что верно о probability-flow ODE и соответствующей SDE?

Один правильный вариантAODE всегда оптимальна по OTBУ них одинаковые траекторииCПри точной скор-функции у них совпадают одномоментные маргинальные распределенияDSDE не имеет плотности

A) ODE всегда оптимальна по OT

B) У них одинаковые траектории

C) При точной скор-функции у них совпадают одномоментные маргинальные распределения

D) SDE не имеет плотности

Ответ и разбор

Правильный ответ: C. Связки и траектории различаются, но маргинальные распределения совпадают.

Вопрос 15.6.4

15.6. Другая геометрия: Wasserstein, CNF и Flow Matching

Скор-функция $\nabla_x\log p(x)$ — это…

Один правильный вариантAЕстественный градиент параметровBПроизведение Fisher на векторCГлобальное направление к ближайшей модеDГрадиент по координате наблюдения

A) Естественный градиент параметров

B) Произведение Fisher на вектор

C) Глобальное направление к ближайшей моде

D) Градиент по координате наблюдения

Ответ и разбор

Правильный ответ: D. Скор-функция определена в пространстве наблюдений и не является естественным градиентом по параметрам.

Вопрос 15.7.1

15.7. Экспоненциальные семейства, двойственные координаты и зеркальный спуск

Для экспоненциального семейства Fisher равна…

Один правильный вариантA

A(\theta)

BЭнтропии при любых условияхC

A^*(\eta)

без производныхD

\nabla^2A(\theta)

A) $d\theta^\top G\,d\theta$

B) Энтропии при любых условиях

C) $A^*(\eta)$ без производных

D) $\nabla^2A(\theta)$

Ответ и разбор

Правильный ответ: D. Гессиан логарифма нормировочной константы равен ковариации достаточных статистик.

Вопрос 15.7.2

15.7. Экспоненциальные семейства, двойственные координаты и зеркальный спуск

Каков порядок аргументов дивергенции Брэгмана в $D_{\mathrm{KL}}(p_{\theta_1}\|p_{\theta_2})$ ?

Один правильный вариантA

B_A(\theta_1,\theta_2)

B_A(\theta_2,\theta_1)

CСимметрическое среднееD

B_{A^*}(\theta_2,\theta_1)

при любых условиях

A) $d\theta^\top G\,d\theta$

B) $B_A(\theta_2,\theta_1)$

C) Симметрическое среднее

D) $B_{A^*}(\theta_2,\theta_1)$ при любых условиях

Ответ и разбор

Правильный ответ: B. Ориентация KL разворачивает аргументы дивергенции Брэгмана в натуральных координатах.

Вопрос 15.7.3

15.7. Экспоненциальные семейства, двойственные координаты и зеркальный спуск

Что означает двойственно плоская структура?

Один правильный вариантAОтсутствие асимметрии KLBНулевую кривизну Fisher–Rao во всех смыслахCЕвклидову норму параметровDПлоскость e- и m-аффинных связностей

A) Отсутствие асимметрии KL

B) Нулевую кривизну Fisher–Rao во всех смыслах

C) Евклидову норму параметров

D) Плоскость e- и m-аффинных связностей

Ответ и разбор

Правильный ответ: D. Кривизна Леви—Чивиты метрики Fisher–Rao при этом может быть ненулевой.

Вопрос 15.7.4

15.7. Экспоненциальные семейства, двойственные координаты и зеркальный спуск

Какое обновление даёт зеркальное отображение отрицательной энтропии?

Один правильный вариантAЭкспоненциальные или мультипликативные весаBЛинейную интерполяциюCБарицентр WassersteinDОбычный метод Ньютона

A) Экспоненциальные или мультипликативные веса

B) Линейную интерполяцию

C) Барицентр Wasserstein

D) Обычный метод Ньютона

Ответ и разбор

Правильный ответ: A. Проксимальный KL/Bregman-шаг нормирует p_i exp(-η g_i).

Вопрос 15.8.1

15.8. Практическая карта: какую геометрию выбрать

Какое утверждение наиболее корректно?

Один правильный вариантAShampoo всегда является Fisher-аппроксимациейBОдна геометрия подходит всем ML-задачамCГеометрию выбирают по объекту и смыслу малого измененияDPPO, Adam и Flow Matching — один алгоритм

A) Shampoo всегда является Fisher-аппроксимацией

B) Одна геометрия подходит всем ML-задачам

C) Геометрию выбирают по объекту и смыслу малого изменения

D) PPO, Adam и Flow Matching — один алгоритм

Ответ и разбор

Правильный ответ: C. Сначала нужно определить, какой объект должен изменяться мало и чем измеряется его изменение.