Теория информации для машинного обучения5 / 16

Модуль 5. Взаимная информация: сколько один объект говорит о другом

Выберите ответы и нажмите «Проверить». Для чисел подходят точка, запятая и простые дроби. Ответы и черновики сохраняются в этом браузере и общие для RU/EN.

Проверено: 0 / 24 · Верно: 0

Вопрос 5.2.1

5.2. Одна величина, три прочтения

Что означает $I(X;Y)=H(Y)-H(Y\mid X)$ при популяционно-оптимальном вероятностном предсказании с логарифмической функцией потерь?

Один правильный вариантAОжидаемое снижение минимально достижимой логарифмической потери после наблюдения

X

BРазность точностей двух классификаторовCЧисло параметров, которые можно удалить из моделиDСнижение логарифмической потери, которого добилась конкретная обученная модель

A) Ожидаемое снижение минимально достижимой логарифмической потери после наблюдения $X$

B) Разность точностей двух классификаторов

C) Число параметров, которые можно удалить из модели

D) Снижение логарифмической потери, которого добилась конкретная обученная модель

Ответ и разбор

Правильный ответ: A. Без X минимальная ожидаемая логарифмическая потеря равна H(Y), с X — H(Y|X). Утверждение относится к популяционному оптимуму, поэтому ни одна реальная модель этот выигрыш не гарантирует.

Вопрос 5.2.2

5.2. Одна величина, три прочтения

Что следует из $I(X;Y)=0$ ?

Один правильный вариантAЛинейной связи нет, но нелинейная зависимость может сохранятьсяB

X=Y

почти наверноеC

X

Y

некоррелированыD

X

Y

независимы

A) Линейной связи нет, но нелинейная зависимость может сохраняться

B) $X=Y$ почти наверное

C) $X$ и $Y$ некоррелированы

D) $X$ и $Y$ независимы

Ответ и разбор

Правильный ответ: D. Нулевая взаимная информация эквивалентна независимости, а это строго сильнее нулевой корреляции. Варианты A и C описывают то, что даёт нулевая корреляция, а не нулевая MI.

Вопрос 5.2.3

5.2. Одна величина, три прочтения

Пусть $Y=g(X)$ — детерминированная дискретная функция. Чему равно $I(X;Y)$ ?

Один правильный вариантAВсегда

H(X)

BНулюC

H(X)-H(Y)

H(Y)

A) Всегда $X$

B) Нулю

C) $H(X)-H(Y)$

D) $H(Y)$

Ответ и разбор

Правильный ответ: D. Поскольку H(Y|X) = 0, взаимная информация равна H(Y). При необратимой g это строго меньше H(X) — поэтому вариант A верен только для обратимых функций.

Вопрос 5.3.1

5.3. PMI: локальное логарифмическое отношение

Может ли поточечная взаимная информация быть отрицательной?

Один правильный вариантAТолько для гауссовских величинBНет, потому что MI всегда неотрицательнаCДа, если пара встречается реже, чем предсказывает независимостьDТолько если одна из маргинальных вероятностей равна нулю

A) Только для гауссовских величин

B) Нет, потому что MI всегда неотрицательна

C) Да, если пара встречается реже, чем предсказывает независимость

D) Только если одна из маргинальных вероятностей равна нулю

Ответ и разбор

Правильный ответ: C. Неотрицательно среднее, а отдельные слагаемые могут иметь любой знак. У пары, встречающейся реже случайного, логарифм отношения меньше нуля.

Вопрос 5.4.1

5.4. Условная MI

Что измеряет $I(X;Y\mid Z)$ при отборе признаков?

Один правильный вариантAТолько маргинальную энтропию

H(X)

BЛинейный коэффициент между

X

Z

CДополнительную информацию, которую

X

даёт о

Y

, когда

Z

уже известнаDИнформацию, которую

X

Z

несут о

Y

совместно и одинаково

A) Только маргинальную энтропию $X$

B) Линейный коэффициент между $X$ и $Z$

C) Дополнительную информацию, которую $X$ даёт о $Y$ , когда $Z$ уже известна

D) Информацию, которую $X$ и $Z$ несут о $Y$ совместно и одинаково

Ответ и разбор

Правильный ответ: C. При логарифмической потере это ожидаемый дополнительный выигрыш от X после того, как Z уже доступна. Общая информация — другая величина, а условная MI может быть и больше безусловной.

Вопрос 5.4.2

5.4. Условная MI

В примере XOR $Y=X_1\oplus X_2$ с независимыми честными битами какое утверждение верно?

Один правильный вариантAКаждый отдельный признак несёт один бит о

Y

BРаз

I(X_1;Y)=0

, то и

I(X_1;Y\mid X_2)=0

CПара признаков независима от

Y

I(X_1;Y)=I(X_2;Y)=0

, но

I((X_1,X_2);Y)=1

бит

A) Каждый отдельный признак несёт один бит о $X$

B) Раз $I(X_1;Y)=0$ , то и $I(X_1;Y\mid X_2)=0$

C) Пара признаков независима от $Y$

D) $I(X_1;Y)=I(X_2;Y)=0$ , но $I((X_1,X_2);Y)=1$ бит

Ответ и разбор

Правильный ответ: D. Это чистая синергия: по отдельности признаки бесполезны, вместе полностью определяют Y. Вариант B — типичная ловушка: обусловливание на X₂ поднимает величину с нуля до целого бита.

Вопрос 5.4.3

5.4. Условная MI

Что может пойти не так, если ранжировать признаки только по $I(X_i;Y)$ ?

Один правильный вариантAПроцедура всегда отбирает все признакиBОна может выбросить признаки, полезные только совместноCОна гарантирует отсутствие утечкиDОна систематически предпочитает взаимно избыточные признаки

A) Процедура всегда отбирает все признаки

B) Она может выбросить признаки, полезные только совместно

C) Она гарантирует отсутствие утечки

D) Она систематически предпочитает взаимно избыточные признаки

Ответ и разбор

Правильный ответ: B. Маргинальная релевантность не видит взаимодействий, поэтому XOR-подобная пара отбрасывается. Избыточность — тоже реальная слабость метода, но отдельная, и не она делает маргинальное ранжирование слепым.

Вопрос 5.5.1

5.5. DPI и обучение представлений

Что утверждает DPI для марковской цепи $Y\to X\to T$ ?

Один правильный вариантA

I(Y;T)\le I(Y;X)

I(Y;T)\ge I(Y;X)

I(Y;T)=0

для любого энкодераD

I(Y;T)<I(Y;X)

, если только

T=X

A) $X$

B) $I(Y;T)\ge I(Y;X)$

C) $I(Y;T)=0$ для любого энкодера

D) $I(Y;T)<I(Y;X)$ , если только $T=X$

Ответ и разбор

Правильный ответ: A. Фиксированное преобразование не создаёт информацию о цели, которой не было в X. Равенство возможно для достаточной статистики, поэтому строгая версия из варианта D неверна.

Вопрос 5.5.2

5.5. DPI и обучение представлений

Почему точность линейного пробинга может вырасти после энкодера, не нарушая DPI?

Один правильный вариантADPI применима только к регрессииBТочность и MI численно совпадаютCЭнкодер делает уже имеющуюся информацию доступнее для ограниченного считывателяDПробинг обучается на большем объёме данных, чем энкодер

A) DPI применима только к регрессии

B) Точность и MI численно совпадают

C) Энкодер делает уже имеющуюся информацию доступнее для ограниченного считывателя

D) Пробинг обучается на большем объёме данных, чем энкодер

Ответ и разбор

Правильный ответ: C. DPI ограничивает количество информации, а не лёгкость её извлечения конкретным классом моделей. Переупаковывать информацию можно, создавать — нет.

Вопрос 5.5.3

5.5. DPI и обучение представлений

Какое условие описывает достаточное для задачи представление $T=f(X)$ ?

Один правильный вариантA

T

должно сохранять все детали

X

Y\perp X\mid T

, что даёт

I(Y;T)=I(Y;X)

I(Y;T)

должна быть как можно меньшеD

I(X;T)

должна равняться

H(X)

A) $X$ должно сохранять все детали $X$

B) $H(X)-H(Y)$ , что даёт $I(Y;T)\ge I(Y;X)$

C) $I(Y;T)=0$ должна быть как можно меньше

D) $Y$ должна равняться $H(X)$

Ответ и разбор

Правильный ответ: B. Достаточность касается только информации, релевантной цели. Сохранение всего X, как в вариантах A и D, гораздо больше, чем требует задача.

Вопрос 5.6.1

5.6. MI, корреляция и причинность

Почему из $\operatorname{Corr}(X,Y)=0$ не следует независимость?

Один правильный вариантAКорреляция всегда больше MIBКорреляция улавливает линейную связь и может пропустить нелинейную зависимостьCКорреляция определена только для дискретных величинDКорреляция не определена при детерминированной зависимости

A) Корреляция всегда больше MI

B) Корреляция улавливает линейную связь и может пропустить нелинейную зависимость

C) Корреляция определена только для дискретных величин

D) Корреляция не определена при детерминированной зависимости

Ответ и разбор

Правильный ответ: B. Для симметричного X и Y = X² ковариация обращается в ноль при детерминированной зависимости. Взаимная информация эту зависимость видит — в этом и состоит разница между двумя мерами.

Вопрос 5.7.1

5.7. Шумные метки

Чему равна взаимная информация в BSC с равномерным входом при $\varepsilon=1$ , когда каждый бит детерминированно инвертируется?

Один правильный вариантA1 бит, потому что преобразование обратимоB0 бит, потому что все метки неверныC

1/2

битаDОна не определена, потому что канал вырожден

A) 1 бит, потому что преобразование обратимо

B) 0 бит, потому что все метки неверны

C) $1/2$ бита

D) Она не определена, потому что канал вырожден

Ответ и разбор

Правильный ответ: A. Взаимная информация измеряет сохранённую зависимость, а не совпадение символов. Известная детерминированная инверсия полностью обратима, поэтому ничего не теряется; худшая точка канала — ε = 1/2, а не ε = 1.

Вопрос 5.8.1

5.8. Отбор признаков

Где следует выполнять отбор признаков по MI при кросс-валидации?

Один правильный вариантAОдин раз на всём датасете до разбиенияBВнутри каждого обучающего фолдаCНа объединении обучающих и валидационных фолдовDТолько на тестовой выборке

A) Один раз на всём датасете до разбиения

B) Внутри каждого обучающего фолда

C) На объединении обучающих и валидационных фолдов

D) Только на тестовой выборке

Ответ и разбор

Правильный ответ: B. Любой отбор, увидевший валидационный фолд, делает оценку на нём оптимистичной. Варианты A и C оба позволяют отложенным данным влиять на то, какие признаки останутся.

Вопрос 5.9.1

5.9. InfoNCE

При какой схеме сэмплирования стандартная граница InfoNCE имеет вид $I(X;Y)\ge\log N-\mathcal L_{\mathrm{NCE}}$ ?

Один правильный вариантAПри произвольных кандидатах из того же мини-батчаBПри негативах из того же условного распределения, что и позитивCПри детерминированных позитивах без случайностиDПри одном позитиве из условного распределения и независимых негативах из маргинального

A) При произвольных кандидатах из того же мини-батча

B) При негативах из того же условного распределения, что и позитив

C) При детерминированных позитивах без случайности

D) При одном позитиве из условного распределения и независимых негативах из маргинального

Ответ и разбор

Правильный ответ: D. Граница выведена именно для этой схемы. Если негативы берутся из условного распределения или структура батча создаёт зависимость, интерпретацию нужно выводить заново.

Вопрос 5.9.2

5.9. InfoNCE

Что в стандартном InfoNCE ограничено сверху величиной $\log N$ ?

Один правильный вариантAИстинная MI представленийBКачество на целевой задачеCРазмер батча, который можно использовать на практикеDКонкретная нижняя граница

\log N-\mathcal L_{\mathrm{NCE}}

A) Истинная MI представлений

B) Качество на целевой задаче

C) Размер батча, который можно использовать на практике

D) Конкретная нижняя граница $\log N-\mathcal L_{\mathrm{NCE}}$

Ответ и разбор

Правильный ответ: D. Потолок принадлежит оценке, а не оцениваемой величине. Истинная MI вполне может быть больше log N — тогда граница просто перестаёт быть информативной.

Вопрос 5.10.1

5.10. Оценивание MI

Какое утверждение о численном оценивании MI наиболее точно?

Один правильный вариантAПопуляционную MI, её оценку и обучающий прокси нужно различать, проверяя устойчивость и перестановочную базовую линиюBЛюбой нейросетевой оцениватель возвращает точную популяционную MICЭнтропия внимания равна MI между токенамиDPlug-in-оценки несмещены, если выборка превышает размер алфавита

A) Популяционную MI, её оценку и обучающий прокси нужно различать, проверяя устойчивость и перестановочную базовую линию

B) Любой нейросетевой оцениватель возвращает точную популяционную MI

C) Энтропия внимания равна MI между токенами

D) Plug-in-оценки несмещены, если выборка превышает размер алфавита

Ответ и разбор

Правильный ответ: A. В высокой размерности MI оценивается плохо, а обученный критик может переобучиться. У plug-in-оценок при малой выборке есть положительное смещение — поэтому и стоит прогонять перестановочную базовую линию на независимых данных.

Вопрос 5.2.4

5.2. Терминология

Что обычно называют собственной информацией отдельного исхода $x$ ?

Один правильный вариантA

H(X)

I(X;X)/2

-\log p(x)

I(X;Y)

, вычисленную в этом исходе

A) $X$

B) $X$

C) $-\log p(x)$

D) $I(X;Y)$ , вычисленную в этом исходе

Ответ и разбор

Правильный ответ: C. Это surprisal одного исхода, а энтропия — его математическое ожидание. Поточечный аналог взаимной информации — это PMI, другая величина.

Вопрос 5.3.2

5.3. Редкие события и PMI

Почему очень редкая пара слов может получить крайне большую PMI?

Один правильный вариантAПотому что произведение маргинальных вероятностей в знаменателе крайне малоBПотому что PMI равна логарифму частотыCПотому что PMI ограничена сверху частотой парыDПотому что редкие события всегда несут больше информации друг о друге

A) Потому что произведение маргинальных вероятностей в знаменателе крайне мало

B) Потому что PMI равна логарифму частоты

C) Потому что PMI ограничена сверху частотой пары

D) Потому что редкие события всегда несут больше информации друг о друге

Ответ и разбор

Правильный ответ: A. Одно совместное появление двух редких слов даёт огромное отношение почти без свидетельств за ним. Пороги по частоте, сглаживание и проверки устойчивости существуют именно для этого.

Вопрос 5.5.4

5.5. Information Bottleneck

Какой компромисс ищет Information Bottleneck?

Один правильный вариантAМинимизировать как можно сильнее и

I(T;Y)

, и

I(X;T)

BМаксимизировать размер представленияCСохранить информацию о

Y

, сокращая ненужную информацию об

X

DМаксимизировать

I(X;T)

при ограничении на

I(T;Y)

A) Минимизировать как можно сильнее и $X$ , и $I(X;T)$

B) Максимизировать размер представления

C) Сохранить информацию о $Y$ , сокращая ненужную информацию об $X$

D) Максимизировать $X$ при ограничении на $I(T;Y)$

Ответ и разбор

Правильный ответ: C. Релевантность максимизируется, а скорость штрафуется. Вариант D меняет роли двух членов местами, превращая целевую функцию в её противоположность.

Вопрос 5.9.3

5.9. Карта методов self-supervised

Какое описание DINO наиболее точно?

Один правильный вариантAТочный kNN-оцениватель взаимной информацииBСамодистилляция без меток, а не стандартный InfoNCE с негативными парамиCАлгоритм причинного выводаDКонтрастное обучение с очень большим числом негативов

A) Точный kNN-оцениватель взаимной информации

B) Самодистилляция без меток, а не стандартный InfoNCE с негативными парами

C) Алгоритм причинного вывода

D) Контрастное обучение с очень большим числом негативов

Ответ и разбор

Правильный ответ: B. Не всякий self-supervised метод является контрастной классификацией против негативов. Чтение всего семейства как максимизации MI — полезная линза, а не теорема о каждом методе.

Вопрос 5.C.1

Вычислительный блок

У двоичного симметричного канала вероятность искажения $\varepsilon=0.1$ и равномерный вход. Вычислите $I(X;Y)$ в битах. (допуск 0.002)

ОтветАбсолютный допуск: ±0.002

Ответ и разбор

Числовой ответ: 0.531 (допуск 0.002). Здесь I = 1 − h₂(0.1) = 1 − 0.469 = 0.531 бита. При ε = 0.5 было бы 0, а при ε = 1 величина возвращается к целому биту — то есть кривая не монотонна по уровню шума.

Вопрос 5.C.2

Вычислительный блок

Для примера XOR $Y=X_1\oplus X_2$ с независимыми честными битами вычислите условную взаимную информацию $I(X_1;Y\mid X_2)$ в битах. (допуск 0.005)

ОтветАбсолютный допуск: ±0.005

Ответ и разбор

Числовой ответ: 1 (допуск 0.005). При известном X₂ цель является детерминированной функцией X₁, поэтому условная MI равна целому биту, тогда как безусловная I(X₁;Y) равна ровно нулю. Обусловливание может увеличивать взаимную информацию, и здесь оно поднимает её с нуля до максимума.

Вопрос 5.C.3

Вычислительный блок

В схеме InfoNCE с $N=256$ кандидатами функция потерь равна $\mathcal L_{\mathrm{NCE}}=2.0$ ната. Вычислите получаемую нижнюю границу на $I(X;Y)$ в натах. (допуск 0.005)

ОтветАбсолютный допуск: ±0.005

Ответ и разбор

Числовой ответ: 3.545 (допуск 0.005). Граница равна log 256 − 2.0 = 5.545 − 2.0 = 3.545 ната. Её потолок равен 5.545 ната, поэтому при большей истинной MI граница не сможет её показать, как бы хорошо ни был обучен критик.

Вопрос 5.C.4

Вычислительный блок

Для пары с $p(x,y)=0.002$ , $p(x)=0.1$ и $p(y)=0.05$ вычислите поточечную взаимную информацию в битах. (допуск 0.002)

ОтветАбсолютный допуск: ±0.002

Ответ и разбор

Числовой ответ: -1.322 (допуск 0.002). Отношение равно 0.002/0.005 = 0.4, а log₂ 0.4 = −1.322 бита. Пара встречается реже, чем предсказывает независимость, поэтому её PMI отрицательна — хотя среднее по всем парам отрицательным быть не может.