Теория информации для машинного обучения12 / 16

Модуль 12. Информационные границы обобщения: PAC-Bayes и взаимная информация

Выберите ответы и нажмите «Проверить». Для чисел подходят точка, запятая и простые дроби. Ответы и черновики сохраняются в этом браузере и общие для RU/EN.

Проверено: 0 / 25 · Верно: 0

Вопрос 12.2.1

12.2. От фиксированной модели к адаптивному выбору

Почему концентрационную границу для заранее фиксированной модели нельзя напрямую применить к $W=A(S)$ ?

Один правильный вариантAНейросети не являются измеримыми функциямиBОбученная модель зависит от той же выборки, на которой измеряется эмпирический рискCФункция потерь всегда неограниченнаDPAC-обучение запрещает оптимизацию

A) Нейросети не являются измеримыми функциями

B) Обученная модель зависит от той же выборки, на которой измеряется эмпирический риск

C) Функция потерь всегда неограниченна

D) PAC-обучение запрещает оптимизацию

Ответ и разбор

Правильный ответ: B. Адаптивный выбор создаёт смещение: результат уже подстроен под случайные флуктуации конкретной выборки.

Вопрос 12.2.2

12.2. От фиксированной модели к адаптивному выбору

Что корректнее всего сказать о классических границах равномерной сходимости для очень больших сетей?

Один правильный вариантAОни математически неверныBОни применимы только к линейным моделямCОни всегда точнее PAC-BayesDОни корректны для наихудшего случая, но при грубой мере сложности часто численно вакуумны

A) Они математически неверны

B) Они применимы только к линейным моделям

C) Они всегда точнее PAC-Bayes

D) Они корректны для наихудшего случая, но при грубой мере сложности часто численно вакуумны

Ответ и разбор

Правильный ответ: D. Проблема обычно не в корректности теоремы, а в слишком грубой глобальной сложности класса.

Вопрос 12.3.1

12.3. PAC-Bayes: априорное и апостериорное распределения, Gibbs-классификатор

Что измеряет $D_{\mathrm{KL}}(Q\|P)$ в стандартной постановке PAC-Bayes?

Один правильный вариантAЦену отклонения зависящего от данных апостериорного распределения от заранее выбранного априорногоBЧисло параметров сетиCРасстояние между обучающим и тестовым распределениямиDЭнтропию меток

A) Цену отклонения зависящего от данных апостериорного распределения от заранее выбранного априорного

B) Число параметров сети

C) Расстояние между обучающим и тестовым распределениями

D) Энтропию меток

Ответ и разбор

Правильный ответ: A. KL оплачивает адаптацию апостериорного распределения к выборке относительно валидной точки отсчёта.

Вопрос 12.3.2

12.3. PAC-Bayes: априорное и апостериорное распределения, Gibbs-классификатор

Почему априорное распределение в базовой теореме PAC-Bayes должно быть независимо от сертифицирующей выборки?

Один правильный вариантAЧтобы апостериорное распределение было равномернымBЧтобы KL обязательно была нулевойCИначе данные можно использовать для искусственного уменьшения члена сложности без оплатыDЧтобы Gibbs-классификатор стал детерминированным

A) Чтобы апостериорное распределение было равномерным

B) Чтобы KL обязательно была нулевой

C) Иначе данные можно использовать для искусственного уменьшения члена сложности без оплаты

D) Чтобы Gibbs-классификатор стал детерминированным

Ответ и разбор

Правильный ответ: C. Апостериорное распределение может зависеть от данных, потому что граница одновременно верна для всех Q; априорное распределение без специальной поправки — нет.

Вопрос 12.3.3

12.3. PAC-Bayes: априорное и апостериорное распределения, Gibbs-классификатор

К какому предиктору непосредственно относится базовый риск $L(Q)$ в PAC-Bayes?

Один правильный вариантAК сети со средними весамиBК Gibbs-классификатору, который случайно выбирает

W\sim Q

CК голосованию большинства без дополнительных условийDК лучшей модели на носителе апостериорного распределения

A) К сети со средними весами

B) К Gibbs-классификатору, который случайно выбирает $W\sim Q$

C) К голосованию большинства без дополнительных условий

D) К лучшей модели на носителе апостериорного распределения

Ответ и разбор

Правильный ответ: B. L(Q)=E_(W~Q)L(W) — риск рандомизированного Gibbs-предиктора.

Вопрос 12.4.1

12.4. PAC-Bayes-kl: основная высоковероятностная граница

Как выглядит используемая в модуле PAC-Bayes-kl-граница?

Один правильный вариантA

\operatorname{kl}(\widehat L_S(Q)\|L(Q))\le [D_{\mathrm{KL}}(Q\|P)+\ln(2\sqrt n/\delta)]/n

L(Q)\le D_{\mathrm{KL}}(Q\|P)

I(W;S)\le\widehat L_S(Q)

L(Q)=\widehat L_S(Q)

A) $\operatorname{kl}(\widehat L_S(Q)\|L(Q))\le [D_{\mathrm{KL}}(Q\|P)+\ln(2\sqrt n/\delta)]/n$

B) $L(Q)\le D_{\mathrm{KL}}(Q\|P)$

C) $I(W;S)\le\widehat L_S(Q)$

D) $L(Q)=\widehat L_S(Q)$

Ответ и разбор

Правильный ответ: A. Это высоковероятностное утверждение, одновременно верное для всех апостериорных распределений Q.

Вопрос 12.4.2

12.4. PAC-Bayes-kl: основная высоковероятностная граница

Если $\widehat L_S(Q)=0$ и $\operatorname{kl}(0\|L(Q))\le c$ , какая точная верхняя граница получается?

Один правильный вариантA

L(Q)\le c^2

L(Q)\le e^{-c}

L(Q)\le\sqrt{2c}

L(Q)\le1-e^{-c}

A) $\operatorname{kl}(\widehat L_S(Q)\|L(Q))\le [D_{\mathrm{KL}}(Q\|P)+\ln(2\sqrt n/\delta)]/n$

B) $L(Q)\le e^{-c}$

C) $L(Q)\le\sqrt{2c}$

D) $L(Q)\le1-e^{-c}$

Ответ и разбор

Правильный ответ: D. Поскольку kl(0‖L)=-ln(1-L).

Вопрос 12.4.3

12.4. PAC-Bayes-kl: основная высоковероятностная граница

Как следствие из неравенства Пинскера соотносится с точной инверсией бинарной KL?

Один правильный вариантAВсегда совпадает с нейBВсегда сильнее неёCПроще, но обычно слабее, особенно при почти нулевом эмпирическом рискеDПрименимо только при

n=1

A) Всегда совпадает с ней

B) Всегда сильнее неё

C) Проще, но обычно слабее, особенно при почти нулевом эмпирическом риске

D) Применимо только при $n=1$

Ответ и разбор

Правильный ответ: C. Неравенство Пинскера заменяет геометрию бинарной KL квадратной оценкой и теряет информацию.

Вопрос 12.4.4

12.4. PAC-Bayes-kl: основная высоковероятностная граница

Какой инструмент переносит границу на экспоненциальный момент для фиксированной гипотезы с априорного распределения $P$ на произвольное апостериорное распределение $Q$ ?

Один правильный вариантAТеорема ПифагораBНеравенство замены меры Донскера—ВараданаCЦентральная предельная теоремаDНеравенство Крафта

A) Теорема Пифагора

B) Неравенство замены меры Донскера—Варадана

C) Центральная предельная теорема

D) Неравенство Крафта

Ответ и разбор

Правильный ответ: B. Замена меры добавляет цену D_KL(Q‖P).

Вопрос 12.5.1

12.5. Из границы в обучаемую целевую функцию

Что минимизирует Gibbs-распределение $Q_\lambda\propto P\exp[-\lambda n\widehat L_S]$ ?

Один правильный вариантAТолько эмпирический рискB

I(X;T)-\beta I(T;Y)

CТолько энтропию апостериорного распределенияD

\widehat L_S(Q)+D_{\mathrm{KL}}(Q\|P)/(\lambda n)

A) Только эмпирический риск

B) $W\sim Q$

C) Только энтропию апостериорного распределения

D) $\widehat L_S(Q)+D_{\mathrm{KL}}(Q\|P)/(\lambda n)$

Ответ и разбор

Правильный ответ: D. Это прямое следствие вариационного принципа Гиббса.

Вопрос 12.5.2

12.5. Из границы в обучаемую целевую функцию

Когда Gibbs-распределение буквально совпадает с обычным байесовским апостериорным распределением?

Один правильный вариантAВсегдаBТолько для линейных моделейCНикогдаDКогда функция потерь и масштаб согласованы с отрицательным логарифмическим правдоподобием и выбранным априорным распределением

A) Всегда

B) Только для линейных моделей

C) Никогда

D) Когда функция потерь и масштаб согласованы с отрицательным логарифмическим правдоподобием и выбранным априорным распределением

Ответ и разбор

Правильный ответ: D. Алгебраическая похожесть не заменяет вероятностную модель правдоподобия.

Вопрос 12.5.3

12.5. Из границы в обучаемую целевую функцию

Почему детерминированное затухание весов не эквивалентно полной целевой функции обучения PAC-Bayes?

Один правильный вариантAKL не содержит члена со средними весамиBPAC-Bayes запрещает гауссовские распределенияCPAC-Bayes оптимизирует распределение, включает дисперсионные члены и сертифицирует Gibbs-предикторDЗатухание весов всегда увеличивает функцию потерь

A) KL не содержит члена со средними весами

B) PAC-Bayes запрещает гауссовские распределения

C) PAC-Bayes оптимизирует распределение, включает дисперсионные члены и сертифицирует Gibbs-предиктор

D) Затухание весов всегда увеличивает функцию потерь

Ответ и разбор

Правильный ответ: C. Квадратичный член по средним — лишь одна часть гауссовской KL.

Вопрос 12.5.4

12.5. Из границы в обучаемую целевую функцию

Что происходит с $D_{\mathrm{KL}}(\delta_{w_*}\|P)$ , если $P$ имеет непрерывную плотность?

Один правильный вариантAОна равна бесконечностиBОна равна

\|w_*\|^2

CОна всегда нулеваяDОна равна энтропии априорного распределения

A) Она равна бесконечности

B) Она равна $W\sim Q$

C) Она всегда нулевая

D) Она равна энтропии априорного распределения

Ответ и разбор

Правильный ответ: A. Точечная мера не абсолютно непрерывна относительно непрерывного априорного распределения.

Вопрос 12.6.1

12.6. MI-границы: обучение как канал от выборки к модели

Какой тип гарантии обычно даёт базовая MI-граница Xu–Raginsky?

Один правильный вариантAВысоковероятностный сертификат для одного запускаBГраницу в среднем по случайной выборке и случайности алгоритмаCГарантию устойчивости к состязательным воздействиямDТочное значение тестового риска

A) Высоковероятностный сертификат для одного запуска

B) Границу в среднем по случайной выборке и случайности алгоритма

C) Гарантию устойчивости к состязательным воздействиям

D) Точное значение тестового риска

Ответ и разбор

Правильный ответ: B. Она контролирует |E[L(W)-L̂_S(W)]|.

Вопрос 12.6.2

12.6. MI-границы: обучение как канал от выборки к модели

Для функции потерь в $[0,1]$ какое значение субгауссовского параметра дисперсии можно взять по лемме Хёфдинга?

Один правильный вариантA

1

1/2

1/4

n

A) $\operatorname{kl}(\widehat L_S(Q)\|L(Q))\le [D_{\mathrm{KL}}(Q\|P)+\ln(2\sqrt n/\delta)]/n$

B) $1/2$

C) $1/4$

D) $n$

Ответ и разбор

Правильный ответ: C. Это даёт |Egen|≤√(I(W;S)/(2n)).

Вопрос 12.6.3

12.6. MI-границы: обучение как канал от выборки к модели

Что верно для детерминированного алгоритма с точным непрерывным результатом $W$ ?

Один правильный вариантAMI всегда равна нулюBMI всегда равна числу параметровCMI обязательно конечнаDMI часто бесконечна, поэтому базовая MI-граница может быть вакуумной

A) MI всегда равна нулю

B) MI всегда равна числу параметров

C) MI обязательно конечна

D) MI часто бесконечна, поэтому базовая MI-граница может быть вакуумной

Ответ и разбор

Правильный ответ: D. Детерминизм сам по себе не гарантирует конечности взаимной информации в непрерывном случае.

Вопрос 12.7.1

12.7. Точное разложение, связывающее PAC-Bayes и MI

Зачем используются MI-границы по отдельным примерам?

Один правильный вариантAЧтобы доказать причинный эффектBЧтобы заменить функцию потерь точностьюCЧтобы сделать априорное распределение зависимым от тестовой выборкиDЧтобы учитывать зависимость от отдельных примеров и иногда получать более тесную оценку

A) Чтобы доказать причинный эффект

B) Чтобы заменить функцию потерь точностью

C) Чтобы сделать априорное распределение зависимым от тестовой выборки

D) Чтобы учитывать зависимость от отдельных примеров и иногда получать более тесную оценку

Ответ и разбор

Правильный ответ: D. Они суммируют локальные вклады I(W;Z_i) вместо одного глобального корня.

Вопрос 12.7.2

12.7. Точное разложение, связывающее PAC-Bayes и MI

Какое точное тождество связывает среднюю KL от апостериорного распределения к априорному и взаимную информацию?

Один правильный вариантA

\mathbb E_S D_{\mathrm{KL}}(Q_S\|P)=I(W;S)+D_{\mathrm{KL}}(P_W\|P)

I(W;S)=H(S)

D_{\mathrm{KL}}(Q_S\|P)=I(X;T)

I(W;S)=\widehat L_S(W)

A) $\operatorname{kl}(\widehat L_S(Q)\|L(Q))\le [D_{\mathrm{KL}}(Q\|P)+\ln(2\sqrt n/\delta)]/n$

B) $I(W;S)=H(S)$

C) $D_{\mathrm{KL}}(Q_S\|P)=I(X;T)$

D) $I(W;S)=\widehat L_S(W)$

Ответ и разбор

Правильный ответ: A. Второй член измеряет несовпадение между маргинальным распределением результата алгоритма и выбранным априорным распределением.

Вопрос 12.7.3

12.7. Точное разложение, связывающее PAC-Bayes и MI

Какое априорное распределение минимизирует $\mathbb E_S D_{\mathrm{KL}}(Q_S\|P)$ ?

Один правильный вариантA

P=P_W

, маргинальное распределение результата алгоритмаBТочечная мера в обученных весахCРавномерное априорное распределениеDЛюбое гауссовское априорное распределение

A) $\operatorname{kl}(\widehat L_S(Q)\|L(Q))\le [D_{\mathrm{KL}}(Q\|P)+\ln(2\sqrt n/\delta)]/n$ , маргинальное распределение результата алгоритма

B) Точечная мера в обученных весах

C) Равномерное априорное распределение

D) Любое гауссовское априорное распределение

Ответ и разбор

Правильный ответ: A. Это оракульное априорное распределение; оно зануляет член несовпадения.

Вопрос 12.7.4

12.7. Точное разложение, связывающее PAC-Bayes и MI

Каков точный статус оракульного априорного распределения $P_W$ в стандартной высоковероятностной PAC-Bayes-границе?

Один правильный вариантAОно всегда недопустимо, потому что зависит от алгоритмаBТочное

P_W

, заданное до реализованной выборки, допустимо, но обычно требует знания неизвестного распределения данных; оценка по той же выборке создаёт зависимость, которую нужно оплачиватьCЕго можно без поправки оценить по сертифицирующей выборке и подставить в теоремуDОно всегда имеет бесконечную энтропию

A) Оно всегда недопустимо, потому что зависит от алгоритма

B) Точное $W\sim Q$ , заданное до реализованной выборки, допустимо, но обычно требует знания неизвестного распределения данных; оценка по той же выборке создаёт зависимость, которую нужно оплачивать

C) Его можно без поправки оценить по сертифицирующей выборке и подставить в теорему

D) Оно всегда имеет бесконечную энтропию

Ответ и разбор

Правильный ответ: B. Оракульность означает недоступность, а не автоматическую невалидность. Если маргинальное распределение результата алгоритма известно независимо от реализованной выборки, оно является фиксированным априорным распределением; бесплатная подстановка его оценки, обученной на сертифицирующих данных, уже требует отдельной теоремы.

Вопрос 12.8.1

12.8. Связи с MDL, Information Bottleneck и KL-регуляризованными политиками

Когда член сложности PAC-Bayes буквально имеет кодовую интерпретацию MDL?

Один правильный вариантAТолько для расстояния ВассерштейнаBДля дискретного

Q=\delta_w

P(w)>0

, когда KL равна

-\ln P(w)

CТолько если

I(X;T)=0

DНикогда

A) Только для расстояния Вассерштейна

B) Для дискретного $W\sim Q$ и $P(w)>0$ , когда KL равна $-\ln P(w)$

C) Только если $I(X;T)=0$

D) Никогда

Ответ и разбор

Правильный ответ: B. В битах -log₂P(w) — идеальная длина априорного кода гипотезы.

Вопрос 12.8.2

12.8. Связи с MDL, Information Bottleneck и KL-регуляризованными политиками

Почему $I(W;S)$ в теории обобщения не следует отождествлять с $I(X;T)$ в Information Bottleneck?

Один правильный вариантAОни относятся к разным случайным объектам и входят в разные теоремыBОни всегда используют разные основания логарифмаCInformation Bottleneck запрещает стохастические кодировщикиDPAC-Bayes не использует KL

A) Они относятся к разным случайным объектам и входят в разные теоремы

B) Они всегда используют разные основания логарифма

C) Information Bottleneck запрещает стохастические кодировщики

D) PAC-Bayes не использует KL

Ответ и разбор

Правильный ответ: A. W,S описывают алгоритм и весь набор данных; X,T — отдельный вход и его представление.

Вопрос 12.8.3

12.8. Связи с MDL, Information Bottleneck и KL-регуляризованными политиками

Почему KL-якорь в RLHF не является тем же объектом, что KL в PAC-Bayes?

Один правильный вариантARLHF сравнивает распределения выходов политик при контексте, а PAC-Bayes — распределения над моделями или весамиBKL в PAC-Bayes всегда симметричнаCRLHF никогда не использует вероятностиDОни различаются только основанием логарифма

A) RLHF сравнивает распределения выходов политик при контексте, а PAC-Bayes — распределения над моделями или весами

B) KL в PAC-Bayes всегда симметрична

C) RLHF никогда не использует вероятности

D) Они различаются только основанием логарифма

Ответ и разбор

Правильный ответ: A. Одинаковый символ KL не делает случайные объекты одинаковыми.

Вопрос 12.9.1

12.9. Как построить практический PAC-Bayes-сертификат

Что ещё нужно учесть, если эмпирический Gibbs-риск оценивается по конечному числу выборок из $Q$ методом Монте-Карло?

Один правильный вариантAKL можно отброситьBМожно автоматически заменить Gibbs-предиктор сетью со средними весамиCОшибка оценивания методом Монте-Карло должна войти в сертификатDТестовый риск становится частью границы

A) KL можно отбросить

B) Можно автоматически заменить Gibbs-предиктор сетью со средними весами

C) Ошибка оценивания методом Монте-Карло должна войти в сертификат

D) Тестовый риск становится частью границы

Ответ и разбор

Правильный ответ: C. Иначе в теорему подставляется случайная неточная оценка без дополнительной гарантии.

Вопрос 12.10.1

12.10. Математическое углубление: более локальные информационные цены

Как корректно использовать зависящее от данных априорное распределение через разделение выборки?

Один правильный вариантAОбучить априорное и апостериорное распределения на тестовой выборкеBИгнорировать зависимость априорного распределения от данныхCПостроить априорное распределение на

S_0

, а границу условно применить к независимой части

S_1

DВсегда брать априорное распределение равным апостериорному

A) Обучить априорное и апостериорное распределения на тестовой выборке

B) Игнорировать зависимость априорного распределения от данных

C) Построить априорное распределение на $S_0$ , а границу условно применить к независимой части $S_1$

D) Всегда брать априорное распределение равным апостериорному

Ответ и разбор

Правильный ответ: C. Цена — меньший эффективный размер сертифицирующей выборки.