Теория информации для машинного обучения8 / 16

Модуль 8. Максимальная энтропия, экспоненциальные модели и KL-регуляризация

Выберите ответы и нажмите «Проверить». Для чисел подходят точка, запятая и простые дроби. Ответы и черновики сохраняются в этом браузере и общие для RU/EN.

Проверено: 0 / 29 · Верно: 0

Вопрос 8.1.1

8.1. От неполного знания к распределению

Какова наиболее общая форма принципа MaxEnt, используемая в модуле?

Один правильный вариантAВсегда выбирать равномерное распределениеBМинимизировать

D_{\mathrm{KL}}(q\|m)

по распределениям, совместимым с ограничениямиCМинимизировать дисперсию при фиксированном среднемDМаксимизировать правдоподобие без вероятностной модели данных

A) Всегда выбирать равномерное распределение

B) Минимизировать $D_{\mathrm{KL}}(q\|m)$ по распределениям, совместимым с ограничениями

C) Минимизировать дисперсию при фиксированном среднем

D) Максимизировать правдоподобие без вероятностной модели данных

Ответ и разбор

Правильный ответ: B. Обычный MaxEnt на конечном множестве является частным случаем проекции минимального KL при равномерной базе m.

Вопрос 8.2.1

8.2. Экспоненциальный наклон и информационная проекция

Когда максимизация энтропии совпадает с минимизацией $D_{\mathrm{KL}}(q\|m)$ ?

Один правильный вариантAТолько для гауссовской базы

m

BТолько при одном ограниченииCДля любой базы

m

, независимо от её формыDКогда

m

равномерно на конечном пространстве состояний

A) Только для гауссовской базы $m$

B) Только при одном ограничении

C) Для любой базы $m$ , независимо от её формы

D) Когда $m$ равномерно на конечном пространстве состояний

Ответ и разбор

Правильный ответ: D. В этом случае D_KL(q‖m)=-H(q)+log |X|, поэтому обе задачи имеют один оптимум.

Вопрос 8.2.2

8.2. Экспоненциальный наклон и информационная проекция

Как выглядит решение минимального KL при линейных ограничениях на моменты?

Один правильный вариантA

q(x)=m(x)+\lambda^\top f(x)

q(x)\propto 1/\|f(x)-\mu\|

q_\lambda(x)=m(x)e^{\lambda^\top f(x)}/Z(\lambda)

q(x)=\delta(x-\mu)

A) $m$

B) $q(x)\propto 1/\|f(x)-\mu\|$

C) $q_\lambda(x)=m(x)e^{\lambda^\top f(x)}/Z(\lambda)$

D) $q(x)=\delta(x-\mu)$

Ответ и разбор

Правильный ответ: C. Это экспоненциальный наклон базового распределения.

Вопрос 8.2.3

8.2. Экспоненциальный наклон и информационная проекция

Чему равен гессиан логарифма нормировочной константы $A(\lambda)=\log Z(\lambda)$ ?

Один правильный вариантAВсегда единичной матрицеBОтрицательной ковариационной матрицеC

\operatorname{Cov}_{q_\lambda}(f(X))

, поэтому он положительно полуопределёнDИнформации Фишера только для гауссовского семейства

A) Всегда единичной матрице

B) Отрицательной ковариационной матрице

C) $\operatorname{Cov}_{q_\lambda}(f(X))$ , поэтому он положительно полуопределён

D) Информации Фишера только для гауссовского семейства

Ответ и разбор

Правильный ответ: C. Положительная определённость требует минимальности семейства; при избыточных признаках гессиан может быть вырожден.

Вопрос 8.2.4

8.2. Экспоненциальный наклон и информационная проекция

(факультативно)

Что утверждает пифагорово тождество для внутренней информационной проекции $q^*$ ?

Один правильный вариантA

D(q\|m)=D(q^*\|q)+D(m\|q^*)

D(q\|m)=D(q\|q^*)+D(q^*\|m)

для допустимого

q

D(q\|m)=D(m\|q)

D(q\|q^*)=0

для всех допустимых

q

A) $m$

B) $D(q\|m)=D(q\|q^*)+D(q^*\|m)$ для допустимого $q$

C) $D(q\|m)=D(m\|q)$

D) $D(q\|q^*)=0$ для всех допустимых $q$

Ответ и разбор

Правильный ответ: B. Любое другое допустимое распределение дальше от базы ровно на D(q‖q*).

Вопрос 8.2.5

8.2. Экспоненциальный наклон и информационная проекция

(факультативно)

Что может произойти, если требуемый вектор моментов лежит на границе выпуклой оболочки значений признаков?

Один правильный вариантAMaxEnt всегда становится равномернымBНормировочная константа обязательно равна единицеCВсе множители Лагранжа становятся нулевымиDОптимум может иметь нулевые вероятности, а параметры могут уходить в бесконечность

A) MaxEnt всегда становится равномерным

B) Нормировочная константа обязательно равна единице

C) Все множители Лагранжа становятся нулевыми

D) Оптимум может иметь нулевые вероятности, а параметры могут уходить в бесконечность

Ответ и разбор

Правильный ответ: D. Формальный вывод для строго положительного внутреннего решения тогда требует предельного перехода или KKT-анализа.

Вопрос 8.2.6

8.2. Экспоненциальный наклон и информационная проекция

(факультативно)

Каков экспоненциальный порядок вероятности эмпирического типа $q$ под общей i.i.d.-базой $m$ ?

Один правильный вариантA

\exp\{-nD_{\mathrm{KL}}(q\|m)+o(n)\}

\exp\{nD_{\mathrm{KL}}(q\|m)+o(n)\}

\exp\{-nH(m)+o(n)\}

DОн не зависит от

q

A) $m$

B) $\exp\{nD_{\mathrm{KL}}(q\|m)+o(n)\}$

C) $\exp\{-nH(m)+o(n)\}$

D) Он не зависит от $q$

Ответ и разбор

Правильный ответ: A. Для равномерной базы это сводится к знакомой связи числа последовательностей типа q с e^(nH(q)).

Вопрос 8.3.1

8.3. Пространство состояний и базовая мера

Какой моделирующий выбор способен изменить MaxEnt-ответ даже при одинаковом ограничении на среднее?

Один правильный вариантAПространство элементарных состояний и базовая мераBТолько основание логарифмаCНазвание случайной величиныDПорядок записи ограничений

A) Пространство элементарных состояний и базовая мера

B) Только основание логарифма

C) Название случайной величины

D) Порядок записи ограничений

Ответ и разбор

Правильный ответ: A. Равномерная база на счётчиках и равномерная база на бинарных микросостояниях индуцируют разные распределения.

Вопрос 8.4.1

8.4. Классические MaxEnt-распределения и AWGN-канал

Какое распределение числа успехов получается при MaxEnt на бинарных микросостояниях с $\mathbb E[K]=np$ ?

Один правильный вариантA

\operatorname{Binomial}(n,p)

BРавномерное на

\{0,\ldots,n\}

CПуассона для любого

n

DУсечённое распределение Коши

A) $m$

B) Равномерное на $\{0,\ldots,n\}$

C) Пуассона для любого $n$

D) Усечённое распределение Коши

Ответ и разбор

Правильный ответ: A. Экспоненциальный наклон факторизуется по координатам, делая их независимыми случайными величинами Бернулли с параметром p.

Вопрос 8.4.2

8.4. Классические MaxEnt-распределения и AWGN-канал

При каких условиях экспоненциальное распределение является MaxEnt-решением?

Один правильный вариантAНа всей

\mathbb R

при фиксированном среднемBНа

[0,1]

при фиксированной дисперсииCНа

[0,\infty)

при фиксированном положительном среднемDНа конечном множестве без ограничений

A) На всей $m$ при фиксированном среднем

B) На $[0,1]$ при фиксированной дисперсии

C) На $[0,\infty)$ при фиксированном положительном среднем

D) На конечном множестве без ограничений

Ответ и разбор

Правильный ответ: C. Носитель является существенной частью постановки; на всей прямой одного среднего недостаточно.

Вопрос 8.4.3

8.4. Классические MaxEnt-распределения и AWGN-канал

Как правильно используется MaxEnt-свойство гауссовского распределения при доказательстве пропускной способности AWGN-канала?

Один правильный вариантAМаксимизируется только энтропия шумаBГауссовский вход делает выход гауссовским и максимизирует

h(Y)

при допустимой дисперсии выходаCЛюбое распределение входа даёт одинаковую

I(X;Y)

DМаксимизация

h(X)

автоматически равна максимизации

I(X;Y)

без анализа выхода

A) Максимизируется только энтропия шума

B) Гауссовский вход делает выход гауссовским и максимизирует $D_{\mathrm{KL}}(q\|m)$ при допустимой дисперсии выхода

C) Любое распределение входа даёт одинаковую $I(X;Y)$

D) Максимизация $h(X)$ автоматически равна максимизации $I(X;Y)$ без анализа выхода

Ответ и разбор

Правильный ответ: B. Поскольку I(X;Y)=h(Y)-h(N), при фиксированном шуме нужно максимизировать именно энтропию выхода.

Вопрос 8.5.1

8.5. Условный MaxEnt и лог-линейные модели

Какова форма условной MaxEnt-модели с признаками $f(x,y)$ ?

Один правильный вариантA

q(y\mid x)=\theta^\top f(x,y)

q(y\mid x)\propto |\theta^\top f(x,y)|

q(y\mid x)

обязана быть гауссовскойD

q_\theta(y\mid x)=e^{\theta^\top f(x,y)}/Z_\theta(x)

A) $m$

B) $q(y\mid x)\propto |\theta^\top f(x,y)|$

C) $q(y\mid x)$ обязана быть гауссовской

D) $q_\theta(y\mid x)=e^{\theta^\top f(x,y)}/Z_\theta(x)$

Ответ и разбор

Правильный ответ: D. Это условная лог-линейная модель с нормировкой отдельно для каждого входа x.

Вопрос 8.5.2

8.5. Условный MaxEnt и лог-линейные модели

Когда нулевой градиент условного логарифмического правдоподобия даёт точное согласование моментов?

Один правильный вариантAДля любой глубокой сети и любого локального минимумаBТолько после сглаживания метокCТолько если все признаки независимыDДля конечного внутреннего оптимума нерегуляризованной лог-линейной модели; регуляризация и разделимость меняют картину

A) Для любой глубокой сети и любого локального минимума

B) Только после сглаживания меток

C) Только если все признаки независимы

D) Для конечного внутреннего оптимума нерегуляризованной лог-линейной модели; регуляризация и разделимость меняют картину

Ответ и разбор

Правильный ответ: D. Согласование моментов является точным свойством экспоненциального семейства в соответствующих условиях, а не универсальным свойством любой нейросети.

Вопрос 8.6.1

8.6. Softmax как решение задачи «оценка + энтропия»

Какую задачу точно решает $\operatorname{softmax}(z/\tau)$ ?

Один правильный вариантA

\max_{q\in\Delta}\{q^\top z+\tau H(q)\}

\min_q\|q-z\|_2^2

без ограниченийC

\max_q H(q)

независимо от

z

\min_qD_{\mathrm{KL}}(z\|q)

, где

z

— распределение

A) $m$

B) $\min_q\|q-z\|_2^2$ без ограничений

C) $\max_q H(q)$ независимо от $z$

D) $\min_qD_{\mathrm{KL}}(z\|q)$ , где $z$ — распределение

Ответ и разбор

Правильный ответ: A. Максимальное значение равно τ log Σ_i e^(z_i/τ), а разрыв равен τ D_KL(q‖softmax).

Вопрос 8.6.2

8.6. Softmax как решение задачи «оценка + энтропия»

Что происходит с softmax при росте температуры $\tau$ для фиксированных логитов?

Один правильный вариантAОн всегда становится вырожденным на одном классеBОн меняет порядок классовCРаспределение становится более плоским и при

\tau\to\infty

стремится к равномерномуDНормировочная константа исчезает

A) Он всегда становится вырожденным на одном классе

B) Он меняет порядок классов

C) Распределение становится более плоским и при $\operatorname{Cov}_{q_\lambda}(f(X))$ стремится к равномерному

D) Нормировочная константа исчезает

Ответ и разбор

Правильный ответ: C. При τ→0 масса концентрируется на максимизаторах; при высокой температуре сильнее действует энтропийный член.

Вопрос 8.7.1

8.7. Энергетические модели и нормировочная константа

Каков градиент NLL энергетической модели, если базовая мера не зависит от $\theta$ ?

Один правильный вариантAТолько

\nabla_\theta E_\theta(x)

\nabla E_\theta(x)-\mathbb E_{q_\theta}[\nabla E_\theta(X)]

\mathbb E_{q_\theta}[E_\theta(X)]

DОн всегда равен нулю из-за нормировочной константы

A) Только $m$

B) $\nabla E_\theta(x)-\mathbb E_{q_\theta}[\nabla E_\theta(X)]$

C) $\mathbb E_{q_\theta}[E_\theta(X)]$

D) Он всегда равен нулю из-за нормировочной константы

Ответ и разбор

Правильный ответ: B. Это разность вклада данных и ожидания по модели, вычисление которого часто является трудной частью обучения EBM.

Вопрос 8.7.2

8.7. Энергетические модели и нормировочная константа

(факультативно)

Как корректнее всего описать связь диффузионных моделей на основе скор-функции с EBM?

Один правильный вариантADiffusion вообще не использует вероятностные распределенияBСкор-функции связаны с градиентом логарифма плотности и энергии, но диффузионные модели обычно обучают зависящие от времени скор-функции зашумлённых распределенийCЛюбая диффузионная модель является точным MaxEnt-решением с известными моментамиDНормировочная константа в диффузионной модели всегда вычисляется аналитически

A) Diffusion вообще не использует вероятностные распределения

B) Скор-функции связаны с градиентом логарифма плотности и энергии, но диффузионные модели обычно обучают зависящие от времени скор-функции зашумлённых распределений

C) Любая диффузионная модель является точным MaxEnt-решением с известными моментами

D) Нормировочная константа в диффузионной модели всегда вычисляется аналитически

Ответ и разбор

Правильный ответ: B. Общая гиббсовская структура и связь через скор-функцию реальны, но формула «диффузия = MaxEnt без нормировки» скрывает существенные детали.

Вопрос 8.8.1

8.8. KL-регуляризованная политика и Gibbs-оптимум

Каков неограниченный оптимум KL-регуляризованной целевой функции по политикам?

Один правильный вариантA

\pi^*=\pi_{\mathrm{ref}}+r/\beta

\pi^*\propto e^{-r}

\pi^*

всегда равномернаD

\pi^*(y\mid x)\propto\pi_{\mathrm{ref}}(y\mid x)e^{r(x,y)/\beta}

A) $m$

B) $\pi^*\propto e^{-r}$

C) $\pi^*$ всегда равномерна

D) $\pi^*(y\mid x)\propto\pi_{\mathrm{ref}}(y\mid x)e^{r(x,y)/\beta}$

Ответ и разбор

Правильный ответ: D. Формула требует конечной нормировки и оптимизации на носителе базовой политики.

Вопрос 8.8.2

8.8. KL-регуляризованная политика и Gibbs-оптимум

Как следует интерпретировать коэффициент $\beta$ в KL-регуляризованной оптимизации политики?

Один правильный вариантAТолько относительно масштаба награды: большое

\beta

усиливает якорь, малое усиливает наклон по наградеBКак абсолютную универсальную меру безопасностиCКак скорость обучения оптимизатораDКак число примеров в наборе предпочтений

A) Только относительно масштаба награды: большое $m$ усиливает якорь, малое усиливает наклон по награде

B) Как абсолютную универсальную меру безопасности

C) Как скорость обучения оптимизатора

D) Как число примеров в наборе предпочтений

Ответ и разбор

Правильный ответ: A. Масштабирование награды эквивалентно обратному масштабированию β.

Вопрос 8.8.3

8.8. KL-регуляризованная политика и Gibbs-оптимум

Какой вывод о PPO и DPO является корректным?

Один правильный вариантAОни обязаны давать одинаковые параметры моделиBDPO всегда вычисляет явный KL на каждом мини-батчеCGibbs-оптимум участвует в выводе DPO, но конечные PPO и DPO могут получить разные политикиDPPO не имеет отношения к оптимизации награды

A) Они обязаны давать одинаковые параметры модели

B) DPO всегда вычисляет явный KL на каждом мини-батче

C) Gibbs-оптимум участвует в выводе DPO, но конечные PPO и DPO могут получить разные политики

D) PPO не имеет отношения к оптимизации награды

Ответ и разбор

Правильный ответ: C. Различаются данные, параметризация, оцениватели, регуляризация и динамика обучения.

Вопрос 8.9.1

8.9. Переоптимизация награды и роль KL

Чему равна производная ожидаемой прокси-награды вдоль Gibbs-path по $\alpha=1/\beta$ ?

Один правильный вариантA

-\operatorname{Var}(r_{\mathrm{proxy}})

D_{\mathrm{KL}}(\pi_\alpha\|\pi_{\mathrm{ref}})

\operatorname{Var}_{\pi_\alpha}(r_{\mathrm{proxy}})\ge0

DОна всегда равна единице

A) $m$

B) $D_{\mathrm{KL}}(\pi_\alpha\|\pi_{\mathrm{ref}})$

C) $\operatorname{Var}_{\pi_\alpha}(r_{\mathrm{proxy}})\ge0$

D) Она всегда равна единице

Ответ и разбор

Правильный ответ: C. Поэтому ожидаемая прокси-награда монотонно не убывает при усилении оптимизационного давления.

Вопрос 8.9.2

8.9. Переоптимизация награды и роль KL

Чему равна производная ожидаемой истинной награды вдоль той же траектории?

Один правильный вариантA

\operatorname{Cov}_{\pi_\alpha}(r_{\mathrm{true}},r_{\mathrm{proxy}})

BВсегда положительной дисперсии истинной наградыC

1/\beta

независимо от rewardsDНулю из-за KL-регуляризации

A) $m$

B) Всегда положительной дисперсии истинной награды

C) $1/\beta$ независимо от rewards

D) Нулю из-за KL-регуляризации

Ответ и разбор

Правильный ответ: A. Знак ковариации может измениться, поэтому истинная награда способна расти, выходить на плато или падать.

Вопрос 8.9.3

8.9. Переоптимизация награды и роль KL

Как меняется $D_{\mathrm{KL}}(\pi_\alpha\|\pi_{\mathrm{ref}})$ вдоль Gibbs-path с фиксированной прокси-наградой?

Один правильный вариантAВсегда уменьшаетсяBНе имеет производнойCВсегда равно

1/\beta

DЕго производная равна

\alpha\operatorname{Var}_{\pi_\alpha}(r_{\mathrm{proxy}})\ge0

A) Всегда уменьшается

B) Не имеет производной

C) Всегда равно $\operatorname{Cov}_{q_\lambda}(f(X))$

D) Его производная равна $\alpha\operatorname{Var}_{\pi_\alpha}(r_{\mathrm{proxy}})\ge0$

Ответ и разбор

Правильный ответ: D. Это точный монотонный закон для KL к базовой политике вдоль данной идеализированной траектории, но не закон для KL до неизвестной оптимальной политики по истинной награде.

Вопрос 8.10.1

8.10. Математическое углубление: экспоненциальные семейства и достаточность

(факультативно)

Какая оговорка существенна для теоремы Питмана—Купмана—Дармуа?

Один правильный вариантAОна относится только к дискретным распределениямBНужны регулярность, i.i.d.-выборка и общий носитель, не зависящий от параметраCОна утверждает, что любое семейство является экспоненциальнымDОна является обратной теоремой к MaxEnt без дополнительных условий

A) Она относится только к дискретным распределениям

B) Нужны регулярность, i.i.d.-выборка и общий носитель, не зависящий от параметра

C) Она утверждает, что любое семейство является экспоненциальным

D) Она является обратной теоремой к MaxEnt без дополнительных условий

Ответ и разбор

Правильный ответ: B. Семейство Uniform(0,θ) показывает, почему зависимость носителя от параметра нельзя игнорировать.

Вопрос 8.11.1

8.11. Упражнения

Чему равна разность $\log_2 6-H_2(q)$ для распределения кости относительно равномерной базы?

Один правильный вариантA

D_{\mathrm{KL},2}(q\|U_6)

D_{\mathrm{KL},2}(U_6\|q)

H_2(U_6,q)

DВсегда нулю

A) $m$

B) $\pi^*\propto e^{-r}$

C) $H_2(U_6,q)$

D) Всегда нулю

Ответ и разбор

Правильный ответ: A. Для конечной равномерной базы энтропийный дефицит в точности равен прямому KL к равномерному распределению.

Вопрос 8.C.1

Вычислительный блок

На шестигранную кость наложено единственное ограничение $\mathbb E[X]=4.5$ . У MaxEnt-решения $q^*(x)\propto e^{\lambda x}$ параметр $\lambda\approx0.371049$ . Вычислите его энтропию в битах. (допуск 0.003)

ОтветАбсолютный допуск: ±0.003

Ответ и разбор

Числовой ответ: 2.328 (допуск 0.003). Энтропия равна 2.328 бита против log₂ 6 = 2.585 бита у равномерной кости без ограничений. Одно моментное ограничение стоит около 0.257 бита, и ничего сверх этого ограничения не предполагается.

Вопрос 8.C.2

Вычислительный блок

При $\pi_{\mathrm{ref}}=(0.7,0.2,0.1)$ , наградах $r=(0,1,2)$ и $\beta=1$ вычислите вероятность, которую Gibbs-оптимальная политика назначает третьему действию. (допуск 0.003)

ОтветАбсолютный допуск: ±0.003

Ответ и разбор

Числовой ответ: 0.373 (допуск 0.003). Наклон даёт (0.353, 0.274, 0.373). Третье действие стартовало с 0.1 и теперь лидирует, но базовая политика не забыта: два действия с равной наградой сохранили бы ровно то отношение вероятностей, которое было у референса.

Вопрос 8.C.3

Вычислительный блок

Для логитов $z=(2,1,0)$ и температуры $\tau=0.5$ вычислите softmax-вероятность первого класса. (допуск 0.003)

ОтветАбсолютный допуск: ±0.003

Ответ и разбор

Числовой ответ: 0.867 (допуск 0.003). Распределение равно (0.867, 0.117, 0.016). Понижение температуры усиливает различия логитов — это тот же экспоненциальный наклон, что и в политике выше, только роль логитов играет награда.

Вопрос 8.C.4

Вычислительный блок

Для тех же логитов и температуры вычислите максимум целевой функции «награда плюс энтропия», то есть $\tau\log\sum_i e^{z_i/\tau}$ , в натах. (допуск 0.003)

ОтветАбсолютный допуск: ±0.003

Ответ и разбор

Числовой ответ: 2.071 (допуск 0.003). Оптимальное значение равно 2.071 ната. Любое другое распределение недобирает ровно τ, умноженное на KL-дивергенцию до softmax, — поэтому softmax является глобальным оптимумом, а не просто стационарной точкой.