Теория информации для машинного обучения11 / 16

Модуль 11. Сравнение распределений: f-дивергенции, вариационные критики и расстояние Вассерштейна

Выберите ответы и нажмите «Проверить». Для чисел подходят точка, запятая и простые дроби. Ответы и черновики сохраняются в этом браузере и общие для RU/EN.

Проверено: 0 / 25 · Верно: 0

Вопрос 11.2.1

11.2. f-дивергенции: общая форма и основные примеры

Что является центральным объектом в определении f-дивергенции $D_f(P\|Q)$ при $P\ll Q$ ?

Один правильный вариантAОтношение плотностей

dP/dQ

, преобразованное выпуклой функцией и усреднённое по

Q

BЕвклидово расстояние между среднимиCТолько разность энтропийDЧисло параметров двух моделей

A) Отношение плотностей $dP/dQ$ , преобразованное выпуклой функцией и усреднённое по $Q$

B) Евклидово расстояние между средними

C) Только разность энтропий

D) Число параметров двух моделей

Ответ и разбор

Правильный ответ: A. f-дивергенция строится как E_Q[f(dP/dQ)].

Вопрос 11.2.2

11.2. f-дивергенции: общая форма и основные примеры

Почему добавление $a(t-1)$ к генератору $f(t)$ не меняет дивергенцию?

Один правильный вариантAПотому что линейная функция всегда равна нулюBПотому что

\mathbb E_Q[dP/dQ-1]=0

CПотому что

P

Q

обязаны быть равномернымиDПотому что сопряжённая функция не меняется

A) Потому что линейная функция всегда равна нулю

B) Потому что $\mathbb E_Q[dP/dQ-1]=0$

C) Потому что $P$ и $Q$ обязаны быть равномерными

D) Потому что сопряжённая функция не меняется

Ответ и разбор

Правильный ответ: B. Интеграл линейной добавки равен a(P(Ω)-Q(Ω))=0.

Вопрос 11.2.3

11.2. f-дивергенции: общая форма и основные примеры

Какое утверждение о дивергенции Реньи наиболее корректно?

Один правильный вариантAОна всегда совпадает с полной вариациейBОна является IPM с липшицевым критикомCОна определена только при

\alpha=1

DВ общем случае она не является f-дивергенцией, хотя связана со степенным интегралом монотонным логарифмическим преобразованием

A) Она всегда совпадает с полной вариацией

B) Она является IPM с липшицевым критиком

C) Она определена только при $\alpha=1$

D) В общем случае она не является f-дивергенцией, хотя связана со степенным интегралом монотонным логарифмическим преобразованием

Ответ и разбор

Правильный ответ: D. Логарифм применяется после интегрирования, что выводит дивергенцию Реньи за пределы обычной формы E_Q[f(p/q)].

Вопрос 11.2.4

11.2. f-дивергенции: общая форма и основные примеры

Какое утверждение о квадрате расстояния Хеллингера в принятой в модуле нормировке верно?

Один правильный вариантA

H^2(P,Q)=\frac12\int(\sqrt p-\sqrt q)^2

и лежит в

[0,1]

BОна всегда бесконечна при разных распределенияхCОна асимметричнаDОна совпадает с прямой KL

A) $dP/dQ$ и лежит в $[0,1]$

B) Она всегда бесконечна при разных распределениях

C) Она асимметрична

D) Она совпадает с прямой KL

Ответ и разбор

Правильный ответ: A. Без множителя 1/2 встречается другая конвенция с максимумом 2.

Вопрос 11.3.1

11.3. Какие различия видят f-дивергенции

Какое свойство выполняется для всех f-дивергенций при стандартных условиях?

Один правильный вариантAСимметрияBОграниченность сверху единицейCНеравенство обработки данных (DPI)DНеравенство треугольника

A) Симметрия

B) Ограниченность сверху единицей

C) Неравенство обработки данных (DPI)

D) Неравенство треугольника

Ответ и разбор

Правильный ответ: C. Один и тот же стохастический канал не увеличивает f-дивергенцию.

Вопрос 11.3.2

11.3. Какие различия видят f-дивергенции

Почему прямая KL при аппроксимации мультимодального $P$ одной гауссианой часто стремится покрывать несколько мод?

Один правильный вариантAОна усредняет только по моделиBМалая вероятность модели в областях с заметной массой данных дорого штрафуется ожиданием по

P

CОна обязана быть симметричнойDОна использует базовую метрику пространства

A) Она усредняет только по модели

B) Малая вероятность модели в областях с заметной массой данных дорого штрафуется ожиданием по $\mathbb E_Q[dP/dQ-1]=0$

C) Она обязана быть симметричной

D) Она использует базовую метрику пространства

Ответ и разбор

Правильный ответ: B. Пропущенная мода данных создаёт большую логарифмическую потерю.

Вопрос 11.3.3

11.3. Какие различия видят f-дивергенции

Что является главным ограничением f-дивергенций на непересекающихся носителях?

Один правильный вариантAОни всегда равны нулюBОни не определены для вероятностных мерCИм требуется ядро RKHSDОни обычно не отражают геометрическое расстояние между носителями

A) Они всегда равны нулю

B) Они не определены для вероятностных мер

C) Им требуется ядро RKHS

D) Они обычно не отражают геометрическое расстояние между носителями

Ответ и разбор

Правильный ответ: D. JS и TV насыщаются, KL может стать бесконечной, но величина сдвига не кодируется.

Вопрос 11.5.1

11.5. Вариационная форма: от сопряжённой функции к обучаемому критику

Что утверждает общая вариационная форма Фенхеля?

Один правильный вариантAЛюбой критик даёт точное значение дивергенцииBf-дивергенция равна минимальной транспортной стоимости ВассерштейнаC

D_f(P\|Q)=\sup_T\{\mathbb E_P T-\mathbb E_Q f^*(T)\}

при достаточно богатом классе и подходящих условияхDКритик должен быть только линейным

A) Любой критик даёт точное значение дивергенции

B) f-дивергенция равна минимальной транспортной стоимости Вассерштейна

C) $\alpha=1$ при достаточно богатом классе и подходящих условиях

D) Критик должен быть только линейным

Ответ и разбор

Правильный ответ: C. Ограниченный нейросетевой критик даёт лишь нижнюю границу на расхождение на уровне распределений.

Вопрос 11.5.2

11.5. Вариационная форма: от сопряжённой функции к обучаемому критику

Как выглядит оптимальный критик для дифференцируемого генератора $f$ ?

Один правильный вариантA

T^*(x)=\|x\|

T^*(x)=p(x)+q(x)

T^*(x)=f'(p(x)/q(x))

T^*(x)

всегда равен нулю

A) $dP/dQ$

B) $T^*(x)=p(x)+q(x)$

C) $T^*(x)=f'(p(x)/q(x))$

D) $T^*(x)$ всегда равен нулю

Ответ и разбор

Правильный ответ: C. Критик кодирует преобразованное отношение плотностей.

Вопрос 11.5.3

11.5. Вариационная форма: от сопряжённой функции к обучаемому критику

Почему максимум эмпирической вариационной цели может превысить истинное расхождение?

Один правильный вариантAПотому что теорема на уровне распределений невернаBКритик адаптивно выбирается по той же конечной выборке и может переобучитьсяCПотому что Jensen всегда меняет знакDПотому что

f^*

обязана быть отрицательной

A) Потому что теорема на уровне распределений неверна

B) Критик адаптивно выбирается по той же конечной выборке и может переобучиться

C) Потому что Jensen всегда меняет знак

D) Потому что $f^*$ обязана быть отрицательной

Ответ и разбор

Правильный ответ: B. Нижняя граница является утверждением на уровне распределений для фиксированного критика, а не автоматической гарантией после оптимизации по той же выборке.

Вопрос 11.5.4

11.5. Вариационная форма: от сопряжённой функции к обучаемому критику

Какова сопряжённая функция для $f(t)=t\log t$ ?

Один правильный вариантA

s^2/2

-\log s

e^{s-1}

|s|

A) $dP/dQ$

B) $-\log s$

C) $e^{s-1}$

D) $|s|$

Ответ и разбор

Правильный ответ: C. Она приводит к нижней границе NWJ E_P T-E_Q e^(T-1).

Вопрос 11.5.5

11.5. Вариационная форма: от сопряжённой функции к обучаемому критику

Как получить форму Donsker–Varadhan из NWJ?

Один правильный вариантAОптимизировать цель NWJ по аддитивной константе критикаBОграничить критик 1-липшицевыми функциямиCПоложить

T=0

DЗаменить KL на TV

A) Оптимизировать цель NWJ по аддитивной константе критика

B) Ограничить критик 1-липшицевыми функциями

C) Положить $\alpha=1$

D) Заменить KL на TV

Ответ и разбор

Правильный ответ: A. Оптимальный сдвиг превращает экспоненциальное ожидание в log E_Q e^T.

Вопрос 11.6.1

11.6. GAN и f-GAN: дивергенция и реальная динамика обучения

Как исходная минимаксная игра GAN связана с дивергенцией Jensen–Shannon?

Один правильный вариантAПри оптимальном дискриминаторе значение равно

-\log4+2\,\mathrm{JS}(P,Q)

BGAN всегда минимизирует обратную KLCДискриминатор вычисляет расстояние Вассерштейна второго порядкаDСвязи нет даже в идеализированной постановке

A) При оптимальном дискриминаторе значение равно $dP/dQ$

B) GAN всегда минимизирует обратную KL

C) Дискриминатор вычисляет расстояние Вассерштейна второго порядка

D) Связи нет даже в идеализированной постановке

Ответ и разбор

Правильный ответ: A. Это тождество на уровне распределений для неограниченного оптимального дискриминатора.

Вопрос 11.6.2

11.6. GAN и f-GAN: дивергенция и реальная динамика обучения

Что верно о несатурирующейся функции потерь генератора?

Один правильный вариантAОна меняет желательный оптимум на

P\ne Q

BОна равна MLE для любого неявного генератораCОна не использует дискриминаторDОна имеет ту же желательную точку

P=Q

, но отдельное обновление генератора не является буквальным шагом градиентного спуска по JS

A) Она меняет желательный оптимум на $dP/dQ$

B) Она равна MLE для любого неявного генератора

C) Она не использует дискриминатор

D) Она имеет ту же желательную точку $P=Q$ , но отдельное обновление генератора не является буквальным шагом градиентного спуска по JS

Ответ и разбор

Правильный ответ: D. Эта функция потерь была введена ради более информативного градиента.

Вопрос 11.6.3

11.6. GAN и f-GAN: дивергенция и реальная динамика обучения

Почему коллапс мод (mode collapse) нельзя объяснить только выбором одной f-дивергенции?

Один правильный вариантAПотому что коллапс мод бывает только в линейной регрессииBПотому что все дивергенции идентичныCНа него влияют также архитектура, ограниченный критик, попеременная оптимизация и функция потерь генератораDПотому что GAN не используют вероятности

A) Потому что коллапс мод бывает только в линейной регрессии

B) Потому что все дивергенции идентичны

C) На него влияют также архитектура, ограниченный критик, попеременная оптимизация и функция потерь генератора

D) Потому что GAN не используют вероятности

Ответ и разбор

Правильный ответ: C. Реальная состязательная динамика существенно богаче идеального расхождения на уровне распределений.

Вопрос 11.7.1

11.7. MINE и InfoNCE: две вариационные задачи для оценки MI

Какие два распределения сравнивает MINE для оценки $I(X;Y)$ ?

Один правильный вариантA

P_X

P_Y

BДва разных априорных распределенияCОбучающее и тестовое распределенияDСовместное

P_{XY}

и произведение маргиналов

P_XP_Y

A) $dP/dQ$ и $P_Y$

B) Два разных априорных распределения

C) Обучающее и тестовое распределения

D) Совместное $P_{XY}$ и произведение маргиналов $P_XP_Y$

Ответ и разбор

Правильный ответ: D. Взаимная информация — это KL между совместным распределением и произведением маргиналов.

Вопрос 11.7.2

11.7. MINE и InfoNCE: две вариационные задачи для оценки MI

Какое практическое правило повышает надёжность нейросетевой оценки MI?

Один правильный вариантAВсегда использовать тот же мини-батч для обучения и отчётаBОбучать критик на одной выборке, а оценивать границу на отложенных парахCНе проверять перестановочную базовую линиюDИнтерпретировать любое число как гарантированную нижнюю границу

A) Всегда использовать тот же мини-батч для обучения и отчёта

B) Обучать критик на одной выборке, а оценивать границу на отложенных парах

C) Не проверять перестановочную базовую линию

D) Интерпретировать любое число как гарантированную нижнюю границу

Ответ и разбор

Правильный ответ: B. Разделение обучения и оценки уменьшает адаптивное оптимистическое смещение.

Вопрос 11.7.3

11.7. MINE и InfoNCE: две вариационные задачи для оценки MI

Каков потолок стандартной нижней границы InfoNCE с $K$ кандидатами?

Один правильный вариантA

\log K

K

1/K

DОн всегда равен истинной MI

A) $dP/dQ$

B) $K$

C) $1/K$

D) Он всегда равен истинной MI

Ответ и разбор

Правильный ответ: A. Поскольку кросс-энтропийная функция потерь неотрицательна, log K-L_NCE≤log K.

Вопрос 11.7.4

11.7. MINE и InfoNCE: две вариационные задачи для оценки MI

Почему InfoNCE некорректно называть просто «MINE со сдвигом»?

Один правильный вариантAInfoNCE не использует оценочные функцииBInfoNCE выводится как многовыборочная классификационная граница, а не простой подстановочный оцениватель DVCMINE не связана с MIDInfoNCE требует вычислимой плотности

A) InfoNCE не использует оценочные функции

B) InfoNCE выводится как многовыборочная классификационная граница, а не простой подстановочный оцениватель DV

C) MINE не связана с MI

D) InfoNCE требует вычислимой плотности

Ответ и разбор

Правильный ответ: B. Оба подхода связаны с оцениванием отношения плотностей, но имеют разные вариационные конструкции.

Вопрос 11.7.5

11.7. MINE и InfoNCE: две вариационные задачи для оценки MI

Что именно ограничивает результат McAllester–Stratos?

Один правильный вариантAРаспределительно-свободные нижние границы с высокой вероятностью по

N

наблюдениям, которые в общем случае не могут надёжно быть намного больше порядка

\log N

BИстинную MI между конечномерными переменнымиCРазмер обученного представленияDЛюбое численное значение любого оценивателя

A) Распределительно-свободные нижние границы с высокой вероятностью по $dP/dQ$ наблюдениям, которые в общем случае не могут надёжно быть намного больше порядка $\log N$

B) Истинную MI между конечномерными переменными

C) Размер обученного представления

D) Любое численное значение любого оценивателя

Ответ и разбор

Правильный ответ: A. Точечный оцениватель может вывести большее число, но без универсальной гарантии.

Вопрос 11.8.1

11.8. Интегральные вероятностные метрики: расстояние Вассерштейна и MMD

Как определяется расстояние Вассерштейна первого порядка в двойственной форме?

Один правильный вариантAКак число несовпадающих параметровBКак KL между совместным распределением и произведением маргиналовCКак минимум кросс-энтропииDКак супремум разности ожиданий по 1-липшицевым функциям

A) Как число несовпадающих параметров

B) Как KL между совместным распределением и произведением маргиналов

C) Как минимум кросс-энтропии

D) Как супремум разности ожиданий по 1-липшицевым функциям

Ответ и разбор

Правильный ответ: D. Это двойственность Канторовича–Рубинштейна.

Вопрос 11.8.2

11.8. Интегральные вероятностные метрики: расстояние Вассерштейна и MMD

Что верно о WGAN-GP?

Один правильный вариантAОн использует штраф на норму градиента как практический суррогат условия ЛипшицаBОн точно проверяет константу Липшица на всём пространствеCОн минимизирует JS при оптимальном дискриминатореDОн не использует критика

A) Он использует штраф на норму градиента как практический суррогат условия Липшица

B) Он точно проверяет константу Липшица на всём пространстве

C) Он минимизирует JS при оптимальном дискриминаторе

D) Он не использует критика

Ответ и разбор

Правильный ответ: A. Штраф вычисляется в выбранных точках, обычно на интерполяциях, и не является глобальным сертификатом.

Вопрос 11.8.3

11.8. Интегральные вероятностные метрики: расстояние Вассерштейна и MMD

Когда MMD с характеристическим ядром равна нулю?

Один правильный вариантAТолько когда совпадают средниеBДля любых двух распределенийCТолько для гауссовских распределенийDТогда и только тогда, когда

P=Q

A) Только когда совпадают средние

B) Для любых двух распределений

C) Только для гауссовских распределений

D) Тогда и только тогда, когда $f^*$

Ответ и разбор

Правильный ответ: D. Характеристическое ядро делает ядерное вложение средних инъективным.

Вопрос 11.8.4

11.8. Интегральные вероятностные метрики: расстояние Вассерштейна и MMD

Какая величина является одновременно f-дивергенцией и IPM?

Один правильный вариантAПрямая KLBПолная вариацияCДивергенция РеньиD

\chi^2

Пирсона

A) Прямая KL

B) Полная вариация

C) Дивергенция Реньи

D) $f^*$ Пирсона

Ответ и разбор

Правильный ответ: B. Полная вариация допускает и представление через отношение плотностей, и супремум по тестовым функциям.

Вопрос 11.9.1

11.9. Выбор расхождения в практической задаче

Какой принцип выбора целевой функции наиболее корректен?

Один правильный вариантAЛюбая ограниченная дивергенция гарантирует устойчивые градиентыBРасстояние Вассерштейна всегда лучше KLCВыбор зависит от доступности правдоподобия, геометрии пространства, выборочной сложности, класса критиков и требуемого оптимумаDInfoNCE всегда точно измеряет MI

A) Любая ограниченная дивергенция гарантирует устойчивые градиенты

B) Расстояние Вассерштейна всегда лучше KL

C) Выбор зависит от доступности правдоподобия, геометрии пространства, выборочной сложности, класса критиков и требуемого оптимума

D) InfoNCE всегда точно измеряет MI

Ответ и разбор

Правильный ответ: C. Универсальной лучшей меры нет; целевая функция является частью полной статистической постановки.