Теория информации для машинного обучения4 / 16

Модуль 4. Неравенство Йенсена: когда среднее встречает нелинейность

Выберите ответы и нажмите «Проверить». Для чисел подходят точка, запятая и простые дроби. Ответы и черновики сохраняются в этом браузере и общие для RU/EN.

Проверено: 0 / 24 · Верно: 0

Вопрос 4.2.1

4.2. Неравенство Йенсена

Какое неравенство верно для выпуклой функции $\phi$ ?

Один правильный вариантA

\phi(\mathbb E X)\ge\mathbb E\phi(X)

\phi(\mathbb E X)\le\mathbb E\phi(X)

\phi(\mathbb E X)=\mathbb E\phi(X)

для любого

X

\phi(\mathbb E X)\le\phi(\mathbb E\phi(X))

A) $\phi(\mathbb E X)\ge\mathbb E\phi(X)$

B) $\phi(\mathbb E X)\le\mathbb E\phi(X)$

C) $\phi(\mathbb E X)=\mathbb E\phi(X)$ для любого $X$

D) $\phi(\mathbb E X)\le\phi(\mathbb E\phi(X))$

Ответ и разбор

Правильный ответ: B. Для выпуклой функции хорда лежит выше графика, поэтому усреднение аргументов даёт меньшее значение. Для вогнутой функции направление меняется — отсюда и берётся вариант A.

Вопрос 4.2.2

4.2. Неравенство Йенсена

При строгой выпуклости когда возможно равенство в неравенстве Йенсена?

Один правильный вариантAКогда распределение

X

симметричноBКогда

\mathbb E X=0

CКогда

\phi

аффинна на носителе

X

DКогда

X

почти наверное постоянна

A) Когда распределение $\phi(\mathbb E X)\ge\mathbb E\phi(X)$ симметрично

B) Когда $\mathbb E X=0$

C) Когда $\phi$ аффинна на носителе $X$

D) Когда $X$ почти наверное постоянна

Ответ и разбор

Правильный ответ: D. Аффинность на носителе — это общее условие равенства, но строгая выпуклость исключает её на любом отрезке, поэтому остаётся только вырожденная X. Симметрия и нулевое среднее о зазоре не говорят ничего.

Вопрос 4.2.3

4.2. Неравенство Йенсена

Чему равен зазор Йенсена для $\phi(x)=x^2$ ?

Один правильный вариантA

\mathbb E X

(\mathbb E X)^2

\operatorname{Var}(X)

DСтандартному отклонению

X

A) $\phi(\mathbb E X)\ge\mathbb E\phi(X)$

B) $(\mathbb E X)^2$

C) $\operatorname{Var}(X)$

D) Стандартному отклонению $X$

Ответ и разбор

Правильный ответ: C. Зазор равен E[X²] − (E X)², то есть дисперсии по определению. Обратите внимание: именно дисперсии, а не корню из неё — размерность зазора совпадает с размерностью φ, а не X.

Вопрос 4.2.4

4.2. Неравенство Йенсена

Какая функция вогнута на $(0,\infty)$ ?

Один правильный вариантA

\log x

-\log x

e^x

x\log x

A) $\phi(\mathbb E X)\ge\mathbb E\phi(X)$

B) $-\log x$

C) $e^x$

D) $x\log x$

Ответ и разбор

Правильный ответ: A. Её вторая производная равна −1/x², то есть отрицательна. Остальные три выпуклы, а пара log x и −log x — как раз причина, по которой в этом модуле приходится следить за направлением каждого неравенства.

Вопрос 4.3.1

4.3. Ансамбли: точная гарантия для log loss

Что гарантирует усреднение вероятностей для NLL на фиксированном примере?

Один правильный вариантANLL смеси не больше NLL лучшего участникаBСмесь улучшает точность top-1CNLL смеси равен взвешенному среднему NLL участниковDNLL смеси не больше взвешенного среднего NLL участников

A) NLL смеси не больше NLL лучшего участника

B) Смесь улучшает точность top-1

C) NLL смеси равен взвешенному среднему NLL участников

D) NLL смеси не больше взвешенного среднего NLL участников

Ответ и разбор

Правильный ответ: D. Это неравенство Йенсена для выпуклой функции −log, применённое к вероятности целевого класса. Сравнение идёт со средним участником, а не с лучшим: сильный участник вполне может обойти смесь.

Вопрос 4.3.2

4.3. Ансамбли: точная гарантия для log loss

Какому усреднению распределений соответствует усреднение логитов перед softmax?

Один правильный вариантAАрифметическому среднему вероятностейBНормированному геометрическому среднему вероятностейCПокомпонентному максимумуDПокомпонентной медиане

A) Арифметическому среднему вероятностей

B) Нормированному геометрическому среднему вероятностей

C) Покомпонентному максимуму

D) Покомпонентной медиане

Ответ и разбор

Правильный ответ: B. Усреднение в логарифмическом пространстве с последующей нормировкой — это геометрическое среднее. Арифметическая смесь — другой объект, и получается она явным смешиванием вероятностей, а не логитов.

Вопрос 4.3.3

4.3. Ансамбли: точная гарантия для log loss

Почему улучшение NLL не гарантирует роста точности top-1?

Один правильный вариантANLL использует вероятность целевого класса, а точность — только argmaxBТочность всегда равна

e^{-\mathrm{NLL}}

CNLL не зависит от целевой меткиDNLL считается на обучающей выборке, а точность на тестовой

A) NLL использует вероятность целевого класса, а точность — только argmax

B) Точность всегда равна $e^{-\mathrm{NLL}}$

C) NLL не зависит от целевой метки

D) NLL считается на обучающей выборке, а точность на тестовой

Ответ и разбор

Правильный ответ: A. Две метрики извлекают из одного и того же предсказания разную информацию. Смесь может поднять вероятность верного класса, не выведя его на первое место, и может понизить ошибочный максимум, не изменив решение.

Вопрос 4.3.4

4.3. Ансамбли: точная гарантия для log loss

Какое утверждение о двух способах построения ансамбля верно?

Один правильный вариантAУсреднение вероятностей всегда лучше усреднения логитовBУсреднение логитов всегда лучше усреднения вероятностейCНи один из способов не доминирует над другим во всех случаяхDОни совпадают, если участники входят с равными весами

A) Усреднение вероятностей всегда лучше усреднения логитов

B) Усреднение логитов всегда лучше усреднения вероятностей

C) Ни один из способов не доминирует над другим во всех случаях

D) Они совпадают, если участники входят с равными весами

Ответ и разбор

Правильный ответ: C. Каждый удовлетворяет своей гарантии Йенсена относительно среднего участника, и в модуле приведены два примера с разными победителями. Равные веса их не отождествляют.

Вопрос 4.4.1

4.4. ELBO: логарифм остаётся снаружи скрытых объяснений

К какой функции применяется неравенство Йенсена в приведённом в модуле выводе ELBO?

Один правильный вариантAК выпуклой функции

-\log

BК квадратуCК вогнутому логарифмуDК экспоненте

A) К выпуклой функции $\phi(\mathbb E X)\ge\mathbb E\phi(X)$

B) К квадрату

C) К вогнутому логарифму

D) К экспоненте

Ответ и разбор

Правильный ответ: C. В модуле используется вогнутый логарифм: log E[W] ≥ E[log W]. Можно эквивалентно применить Йенсена к выпуклой функции −log и затем умножить обе части на −1, поменяв знак неравенства. Получится та же нижняя граница.

Вопрос 4.4.2

4.4. ELBO: логарифм остаётся снаружи скрытых объяснений

Чему точно равен зазор ELBO?

Один правильный вариантA

D_{\mathrm{KL}}(q_\phi(z\mid x)\|p_\theta(z\mid x))

D_{\mathrm{KL}}(p_\theta(z\mid x)\|q_\phi(z\mid x))

D_{\mathrm{KL}}(p(z)\|q_\phi(z\mid x))

H(X)

A) $\phi(\mathbb E X)\ge\mathbb E\phi(X)$

B) $D_{\mathrm{KL}}(p_\theta(z\mid x)\|q_\phi(z\mid x))$

C) $D_{\mathrm{KL}}(p(z)\|q_\phi(z\mid x))$

D) $H(X)$

Ответ и разбор

Правильный ответ: A. Направление существенно: приближённое апостериорное стоит первым. Граница точна ровно тогда, когда вариационное апостериорное совпадает с истинным.

Вопрос 4.4.3

4.4. ELBO: логарифм остаётся снаружи скрытых объяснений

Что сравнивает член KL в стандартной VAE-форме ELBO?

Один правильный вариантAПриближённое апостериорное с истинным апостериорнымBДве целевые меткиCЧлен реконструкции с самим собойDПриближённое апостериорное с априорным

A) Приближённое апостериорное с истинным апостериорным

B) Две целевые метки

C) Член реконструкции с самим собой

D) Приближённое апостериорное с априорным

Ответ и разбор

Правильный ответ: D. Член возникает из факторизации p(x,z) = p(z)p(x|z), то есть измеряет расстояние до априорного. KL до истинного апостериорного — это зазор границы, другая величина, которую целевая функция вообще не вычисляет.

Вопрос 4.4.4

4.4. ELBO: логарифм остаётся снаружи скрытых объяснений

Что более высокий ELBO не гарантирует автоматически?

Один правильный вариантAБолее высокую нижнюю границу для

\log p_\theta(x)

BЛатентное представление, полезное для любой последующей задачиCНе больший зазор KL при фиксированном

\log p_\theta(x)

DНе меньшее значение оптимизируемой вариационной цели

A) Более высокую нижнюю границу для $\phi(\mathbb E X)\ge\mathbb E\phi(X)$

B) Латентное представление, полезное для любой последующей задачи

C) Не больший зазор KL при фиксированном $\log p_\theta(x)$

D) Не меньшее значение оптимизируемой вариационной цели

Ответ и разбор

Правильный ответ: B. Остальные три — переформулировки того, что и утверждает граница. Полезность представления зависит от задачи, архитектуры, вариационного семейства и оптимизации, а ничего этого в неравенстве нет.

Вопрос 4.5.1

4.5. Неравенство log-sum и выпуклость KL

Какое условие равенства в неравенстве log-sum верно при $A,B>0$ ?

Один правильный вариантAНормированные векторы

a_i/A

b_i/B

должны совпадатьBДостаточно, чтобы

A=B

CВсе

a_i

должны быть равныDВсе

b_i

должны быть равны

A) Нормированные векторы $\phi(\mathbb E X)\ge\mathbb E\phi(X)$ и $b_i/B$ должны совпадать

B) Достаточно, чтобы $A=B$

C) Все $a_i$ должны быть равны

D) Все $b_i$ должны быть равны

Ответ и разбор

Правильный ответ: A. Эквивалентно: отношение a_i/b_i должно быть постоянным на носителе. Совпадения сумм недостаточно, потому что неравенство говорит о том, как распределена масса, а не сколько её.

Вопрос 4.5.2

4.5. Неравенство log-sum и выпуклость KL

Что непосредственно доказывает неравенство log-sum после нормировки?

Один правильный вариантAЦентральная предельная теоремаBНеравенство МарковаCНеотрицательность KLDНеравенство треугольника для KL

A) Центральная предельная теорема

B) Неравенство Маркова

C) Неотрицательность KL

D) Неравенство треугольника для KL

Ответ и разбор

Правильный ответ: C. Разность между частями равна ровно A, умноженному на D_KL(P‖Q), и она неотрицательна по неравенству Гиббса. Неравенства треугольника у KL нет — поэтому вариант D механизмом быть не может.

Вопрос 4.5.3

4.5. Неравенство log-sum и выпуклость KL

Что утверждает совместная выпуклость KL?

Один правильный вариантAKL линейна по обоим аргументамBKL между смесями не больше смеси соответствующих KL-дивергенцийCKL симметрична по своим аргументамDKL выпукла по первому аргументу и вогнута по второму

A) KL линейна по обоим аргументам

B) KL между смесями не больше смеси соответствующих KL-дивергенций

C) KL симметрична по своим аргументам

D) KL выпукла по первому аргументу и вогнута по второму

Ответ и разбор

Правильный ответ: B. Смешивание скрывает индекс компоненты, а сокрытие информации не может увеличить различимость. Выпуклость выполняется совместно по паре, а не по отдельности с разными знаками.

Вопрос 4.5.4

4.5. Неравенство log-sum и выпуклость KL

Что происходит с KL, если к $P$ и $Q$ применить одно и то же огрубление?

Один правильный вариантAОна всегда строго возрастаетBОна обязательно обращается в нольCОна остаётся в точности той жеDОна не может возрасти

A) Она всегда строго возрастает

B) Она обязательно обращается в ноль

C) Она остаётся в точности той же

D) Она не может возрасти

Ответ и разбор

Правильный ответ: D. Это детерминированный частный случай обработки данных. Равенство возможно — поэтому формулировка звучит как «не может возрасти», а не «строго убывает».

Вопрос 4.6.1

Факультативное математическое и инженерное углубление

Что в локальном квадратичном приближении определяет скалярный зазор Йенсена для дважды дифференцируемой $\phi$ ?

Один правильный вариантAТолько

\mathbb E X

BТолько размер выборкиCПриближённо

\tfrac12\phi''(\mathbb E X)\operatorname{Var}(X)

DПриближённо только

\phi''(\mathbb E X)

A) Только $\phi(\mathbb E X)\ge\mathbb E\phi(X)$

B) Только размер выборки

C) Приближённо $\tfrac12\phi''(\mathbb E X)\operatorname{Var}(X)$

D) Приближённо только $\phi''(\mathbb E X)$

Ответ и разбор

Правильный ответ: C. Нужны оба ингредиента: разброс аргументов и кривизна функции. У плоской функции зазора нет при любом разбросе X, а у постоянной X — при любой кривизне φ.

Вопрос 4.6.2

Факультативное математическое и инженерное углубление

Когда вероятностная смесь достигает равенства со средним NLL участников на фиксированном примере?

Один правильный вариантAКогда все параметры нейросетей одинаковыBКогда у всех моделей совпадает argmaxCКогда участники входят с равными весамиDКогда все модели с положительным весом дают целевому классу одну и ту же вероятность

A) Когда все параметры нейросетей одинаковы

B) Когда у всех моделей совпадает argmax

C) Когда участники входят с равными весами

D) Когда все модели с положительным весом дают целевому классу одну и ту же вероятность

Ответ и разбор

Правильный ответ: D. Пообъектный NLL видит только вероятность целевого класса, поэтому распределения целиком могут различаться. Совпадение argmax — слишком слабое условие.

Вопрос 4.7.1

Факультативное математическое и инженерное углубление

Когда огрубление сохраняет KL точно?

Один правильный вариантAТолько когда все группы равного размераBКогда

p(x)/q(x)

постоянно внутри каждой объединяемой группыCКогда у

P

Q

совпадают энтропииDКогда в каждой группе не больше двух состояний

A) Только когда все группы равного размера

B) Когда $e^{-\mathrm{NLL}}$ постоянно внутри каждой объединяемой группы

C) Когда у $P$ и $Q$ совпадают энтропии

D) Когда в каждой группе не больше двух состояний

Ответ и разбор

Правильный ответ: B. Эквивалентно: условные распределения внутри каждой группы совпадают при P и при Q, поэтому слияние не уничтожает ничего различающего. Размеры групп роли не играют.

Вопрос 4.7.2

Факультативное математическое и инженерное углубление

Как устойчиво посчитать арифметическую смесь вероятностей из логарифмов вероятностей моделей?

Один правильный вариантAПрименить logsumexp к log_probs + log_weightsBУсреднить логиты и считать результат одной модельюCВозвести в экспоненту, усреднить и снова взять логарифмDОкруглить все вероятности до нуля или единицы

A) Применить logsumexp к log_probs + log_weights

B) Усреднить логиты и считать результат одной моделью

C) Возвести в экспоненту, усреднить и снова взять логарифм

D) Округлить все вероятности до нуля или единицы

Ответ и разбор

Правильный ответ: A. Усреднение логитов даёт вместо этого нормированное геометрическое среднее. Наивный путь «экспонента — среднее — логарифм» математически верен, но теряет точность именно там, где вероятности и важны.

Вопрос 4.C.1

Вычислительный блок

Пусть $X$ принимает значения $1$ , $2$ и $6$ с вероятностями $0.5$ , $0.25$ и $0.25$ . Вычислите зазор Йенсена $\mathbb E[X^2]-(\mathbb E X)^2$ . (допуск 0.01)

ОтветАбсолютный допуск: ±0.01

Ответ и разбор

Числовой ответ: 4.25 (допуск 0.01). E X = 2.5 и E[X²] = 10.5, поэтому зазор равен 10.5 − 6.25 = 4.25. Для квадрата зазор в точности равен дисперсии, без всякого приближения.

Вопрос 4.C.2

Вычислительный блок

Две модели предсказывают

q_1=(0.83,\ 0.01,\ 0.16), \qquad q_2=(0.11,\ 0.88,\ 0.01),

входят с равными весами, целевой класс — 1. Вычислите NLL арифметической смеси вероятностей с точностью до трёх знаков после запятой. (допуск 0.005)

ОтветАбсолютный допуск: ±0.005

Ответ и разбор

Числовой ответ: 0.755 (допуск 0.005). Смесь даёт целевому классу (0.83 + 0.11)/2 = 0.47, а −ln 0.47 = 0.755. Средний NLL участников равен 1.197, так что гарантия Йенсена выполняется. На этом примере усреднение логитов оказывается ещё лучше, 0.367, — поэтому ни один способ не доминирует.

Вопрос 4.C.3

Вычислительный блок

Для фиксированного $x$ пусть $p(x,z=0)=0.09$ и $p(x,z=1)=0.01$ , а приближение равно $q(z\mid x)=(0.5,0.5)$ . Вычислите зазор между $\log p(x)$ и ELBO в натах с точностью до трёх знаков после запятой. (допуск 0.005)

ОтветАбсолютный допуск: ±0.005

Ответ и разбор

Числовой ответ: 0.511 (допуск 0.005). Здесь log p(x) = −2.303, а ELBO равен −2.813. Разность в точности совпадает с D_KL((0.5, 0.5)‖(0.9, 0.1)) — это цена неверного апостериорного, а не добавленный вручную штраф.

Вопрос 4.C.4

Вычислительный блок

Пусть

P=(0.5,\ 0.25,\ 0.25), \qquad Q=(0.25,\ 0.25,\ 0.5).

Объедините второе и третье состояния в одно и вычислите $D_{\mathrm{KL}}$ между огрублёнными распределениями в натах с точностью до трёх знаков после запятой. (допуск 0.002)

ОтветАбсолютный допуск: ±0.002

Ответ и разбор

Числовой ответ: 0.144 (допуск 0.002). После слияния P становится (0.5, 0.5), а Q — (0.25, 0.75), что даёт 0.144 ната против 0.173 до слияния. Разница и есть та информация, которая различала объединённые состояния.