Теория информации для машинного обучения9 / 16

Модуль 9. Скорость–искажение и Information Bottleneck: как управлять потерей информации

Выберите ответы и нажмите «Проверить». Для чисел подходят точка, запятая и простые дроби. Ответы и черновики сохраняются в этом браузере и общие для RU/EN.

Проверено: 0 / 29 · Верно: 0

Вопрос 9.2.1

9.2. Скорость–искажение: минимальная скорость при допустимой потере

Что минимизируется в определении функции скорость–искажение $R(D)$ ?

Один правильный вариантA

I(X;\widehat X)

по тестовым каналам с допустимым средним искажениемBТолько энтропия реконструкции

H(\widehat X)

CЧисло параметров декодераDМаксимальная ошибка отдельного объекта без учёта постановки задачи

A) $I(X;\widehat X)$ по тестовым каналам с допустимым средним искажением

B) Только энтропия реконструкции $H(\widehat X)$

C) Число параметров декодера

D) Максимальная ошибка отдельного объекта без учёта постановки задачи

Ответ и разбор

Правильный ответ: A. После оптимизации взаимная информация получает операционный смысл минимальной асимптотической скорости.

Вопрос 9.2.2

9.2. Скорость–искажение: минимальная скорость при допустимой потере

Что такое тестовый канал $P_{\widehat X\mid X}$ ?

Один правильный вариантAОбязательно физический шумный канал связиBУсловное распределение допустимых реконструкций при каждом исходе источникаCТолько детерминированный квантизаторDРаспределение обучающей выборки

A) Обязательно физический шумный канал связи

B) Условное распределение допустимых реконструкций при каждом исходе источника

C) Только детерминированный квантизатор

D) Распределение обучающей выборки

Ответ и разбор

Правильный ответ: B. Это математическая конструкция в вариационном определении R(D); она не обязана описывать физическую линию связи.

Вопрос 9.2.3

9.2. Скорость–искажение: минимальная скорость при допустимой потере

Когда утверждение $R(0)=H(X)$ корректно в простой форме?

Один правильный вариантAДля любого непрерывного источника с MSEBТолько для гауссовского источникаCДля конечного дискретного источника, если нулевое искажение требует точного восстановленияDВсегда, независимо от меры искажения

A) Для любого непрерывного источника с MSE

B) Только для гауссовского источника

C) Для конечного дискретного источника, если нулевое искажение требует точного восстановления

D) Всегда, независимо от меры искажения

Ответ и разбор

Правильный ответ: C. Для непрерывного источника с квадратичной ошибкой обычно R(D)→∞ при D↓0.

Вопрос 9.2.4

9.2. Скорость–искажение: минимальная скорость при допустимой потере

Для $X\sim\mathcal N(0,\sigma^2)$ и квадратичной ошибки чему равно $R(D)$ при $0<D<\sigma^2$ в битах?

Один правильный вариантA

\log_2(\sigma^2/D)

\sigma^2-D

h_2(D)

\tfrac12\log_2(\sigma^2/D)

A) $I(X;\widehat X)$

B) $\sigma^2-D$

C) $h_2(D)$

D) $\tfrac12\log_2(\sigma^2/D)$

Ответ и разбор

Правильный ответ: D. Множитель 1/2 относится к одному вещественному символу.

Вопрос 9.2.5

9.2. Скорость–искажение: минимальная скорость при допустимой потере

Почему выбор искажения является частью модели?

Один правильный вариантAПотому что теория оптимизирует скорость только относительно уже выбранной цены ошибкиBПотому что все меры искажения эквивалентныCПотому что MSE всегда совпадает с человеческим восприятиемDПотому что мера искажения не влияет на оптимальный код

A) Потому что теория оптимизирует скорость только относительно уже выбранной цены ошибки

B) Потому что все меры искажения эквивалентны

C) Потому что MSE всегда совпадает с человеческим восприятием

D) Потому что мера искажения не влияет на оптимальный код

Ответ и разбор

Правильный ответ: A. Теория не определяет за пользователя, какие различия существенны.

Вопрос 9.3.1

9.3. Information Bottleneck: сохранить именно то, что нужно для $Y$

Что балансирует цель $I(X;T)-\beta I(T;Y)$ ?

Один правильный вариантAСкорость оптимизатора и размер мини-пакетаBСжатие входа и сохранение информации о целевой переменнойCТолько ошибку реконструкцииDЧисло классов и глубину сети

A) Скорость оптимизатора и размер мини-пакета

B) Сжатие входа и сохранение информации о целевой переменной

C) Только ошибку реконструкции

D) Число классов и глубину сети

Ответ и разбор

Правильный ответ: B. I(X;T) играет роль скорости, а I(T;Y) — релевантности.

Вопрос 9.3.2

9.3. Information Bottleneck: сохранить именно то, что нужно для $Y$

При соглашении $I(X;T)-\beta I(T;Y)$ что делает увеличение $\beta$ ?

Один правильный вариантAВсегда уменьшает

I(T;Y)

BНичего:

\beta

сокращаетсяCСильнее ценит сохранение информации о

Y

DАвтоматически делает

T=X

A) Всегда уменьшает $I(X;\widehat X)$

B) Ничего: $\beta$ сокращается

C) Сильнее ценит сохранение информации о $Y$

D) Автоматически делает $\sigma^2-D$

Ответ и разбор

Правильный ответ: C. Но в других соглашениях параметризация может быть обратной, поэтому нужно читать формулу.

Вопрос 9.3.3

9.3. Information Bottleneck: сохранить именно то, что нужно для $Y$

Какое искажение естественно возникает в IB?

Один правильный вариантAТолько евклидово расстояние между

x

t

BРасстояние Хэмминга между индексами кластеровCMSE между весами сетиD

D_{\mathrm{KL}}(P(Y\mid x)\|P(Y\mid t))

A) Только евклидово расстояние между $I(X;\widehat X)$ и $t$

B) Расстояние Хэмминга между индексами кластеров

C) MSE между весами сети

D) $\beta$

Ответ и разбор

Правильный ответ: D. Оно измеряет, насколько представление испортило предсказательное распределение целевой переменной.

Вопрос 9.3.4

9.3. Information Bottleneck: сохранить именно то, что нужно для $Y$

Когда два входа можно объединить в один IB-код без большой потери релевантности?

Один правильный вариантAКогда их

P(Y\mid x)

похожиBТолько когда сами входы совпадают побайтноCКогда их евклидово расстояние максимальноDВсегда, если размерность

T

мала

A) Когда их $I(X;\widehat X)$ похожи

B) Только когда сами входы совпадают побайтно

C) Когда их евклидово расстояние максимально

D) Всегда, если размерность $T$ мала

Ответ и разбор

Правильный ответ: A. IB сохраняет значимые для задачи различия, а не обязательно каждую деталь входа.

Вопрос 9.3.5

9.3. Information Bottleneck: сохранить именно то, что нужно для $Y$

Почему классическое IB-уравнение называется самосогласованным?

Один правильный вариантAПотому что оно не содержит вероятностейBПотому что

P(t)

P(Y\mid t)

сами зависят от искомого

P(t\mid x)

CПотому что решение всегда единственноDПотому что оно применимо только к гауссианам

A) Потому что оно не содержит вероятностей

B) Потому что $P(t)$ и $P(Y\mid t)$ сами зависят от искомого $P(t\mid x)$

C) Потому что решение всегда единственно

D) Потому что оно применимо только к гауссианам

Ответ и разбор

Правильный ответ: B. Итерационный алгоритм обновляет эти величины совместно.

Вопрос 9.4.1

9.4. Variational Information Bottleneck: обучаемая функция потерь

Чем является классификационная кросс-энтропия в VIB-интерпретации?

Один правильный вариантAТочной величиной

-I(T;Y)

для любого классификатораBВерхней границей на

H(Y)

CОбучаемой вариационной границей, связанной с

H(Y\mid T)

и релевантностьюDРеальным числом переданных бит

A) Точной величиной $I(X;\widehat X)$ для любого классификатора

B) Верхней границей на $H(Y)$

C) Обучаемой вариационной границей, связанной с $H(Y\mid T)$ и релевантностью

D) Реальным числом переданных бит

Ответ и разбор

Правильный ответ: C. Разрыв определяется KL между истинным P(Y|T) и вариационным декодером.

Вопрос 9.4.2

9.4. Variational Information Bottleneck: обучаемая функция потерь

Какое точное разложение имеет средний KL энкодера к априорному распределению $r(T)$ ?

Один правильный вариантA

I(X;T)+D_{\mathrm{KL}}(q(T)\|r(T))

BТолько

H(T)

I(T;Y)-I(X;Y)

DОшибка реконструкции плюс константа

A) $I(X;\widehat X)$

B) Только $h_2(D)$

C) $I(T;Y)-I(X;Y)$

D) Ошибка реконструкции плюс константа

Ответ и разбор

Правильный ответ: A. Поэтому этот KL является верхней границей на I(X;T).

Вопрос 9.4.3

9.4. Variational Information Bottleneck: обучаемая функция потерь

Когда KL-скорость VIB точно совпадает с $I(X;T)$ ?

Один правильный вариантAПри любом стандартном нормальном априорном распределенииBКогда априорное распределение совпадает с агрегированным апостериорным распределением

q(T)

CТолько при детерминированном энкодереDКогда классификатор имеет нулевую точность

A) При любом стандартном нормальном априорном распределении

B) Когда априорное распределение совпадает с агрегированным апостериорным распределением $P(t)$

C) Только при детерминированном энкодере

D) Когда классификатор имеет нулевую точность

Ответ и разбор

Правильный ответ: B. Иначе присутствует дополнительная цена несовпадения.

Вопрос 9.5.1

9.5. VAE: ELBO в координатах скорость–искажение, но не буквальный IB с учителем

Как раскладывается отрицательная ELBO после усреднения по данным?

Один правильный вариантAТочность плюс ошибка калибровкиBТолько взаимная информацияCЭнтропия плюс перплексияDИскажение плюс скорость

A) Точность плюс ошибка калибровки

B) Только взаимная информация

C) Энтропия плюс перплексия

D) Искажение плюс скорость

Ответ и разбор

Правильный ответ: D. Искажение задаётся правдоподобием декодера, скорость — средним KL апостериорного распределения к априорному.

Вопрос 9.5.2

9.5. VAE: ELBO в координатах скорость–искажение, но не буквальный IB с учителем

Какое утверждение о VAE и IB с учителем наиболее корректно?

Один правильный вариантAVAE естественно допускает интерпретацию в координатах скорость–искажение, но не является буквально IB с учителем, где задано внешнее

Y

BЛюбой VAE точно максимизирует

I(Z;Y)

CELBO не содержит никакого узкого местаD

\beta

в VAE и IB всегда имеет одинаковый смысл

A) VAE естественно допускает интерпретацию в координатах скорость–искажение, но не является буквально IB с учителем, где задано внешнее $I(X;\widehat X)$

B) Любой VAE точно максимизирует $I(Z;Y)$

C) ELBO не содержит никакого узкого места

D) $\beta$ в VAE и IB всегда имеет одинаковый смысл

Ответ и разбор

Правильный ответ: A. Конструкции родственны, но оптимизационные задачи и роли переменных различаются.

Вопрос 9.6.1

9.6. Где скорость–искажение появляется в реальном ML-коде

Когда $\mathbb E[-\log_2p_\psi(\widehat Z)]$ близка к реальной скорости кодирования?

Один правильный вариантAКогда энтропийная модель используется совместимым арифметическим или ANS-кодером и учтены служебные расходыBВсегда, даже без энтропийного кодераCТолько если латент непрерывен и не квантизованDНикогда

A) Когда энтропийная модель используется совместимым арифметическим или ANS-кодером и учтены служебные расходы

B) Всегда, даже без энтропийного кодера

C) Только если латент непрерывен и не квантизован

D) Никогда

Ответ и разбор

Правильный ответ: A. NLL превращается в реальные биты через конкретный энтропийный кодер.

Вопрос 9.6.2

9.6. Где скорость–искажение появляется в реальном ML-коде

Что обычно не входит автоматически в фразу «4 бита на параметр»?

Один правильный вариантAСами квантованные значенияBМасштабы, нулевые точки, кодовые книги, заполнение и служебные данныеCЧисло слоёв моделиDОбучающие метки

A) Сами квантованные значения

B) Масштабы, нулевые точки, кодовые книги, заполнение и служебные данные

C) Число слоёв модели

D) Обучающие метки

Ответ и разбор

Правильный ответ: B. Поэтому номинальная разрядность и фактическая скорость могут различаться.

Вопрос 9.6.3

9.6. Где скорость–искажение появляется в реальном ML-коде

Почему MSE весов может быть плохой суррогатной мерой искажения для LLM?

Один правильный вариантAПотому что веса всегда бинарныBПотому что MSE невозможно вычислитьCОдинаковая ошибка в разных направлениях параметров может по-разному менять логиты, NLL и качество в последующей задачеDПотому что MSE всегда равна KL

A) Потому что веса всегда бинарны

B) Потому что MSE невозможно вычислить

C) Одинаковая ошибка в разных направлениях параметров может по-разному менять логиты, NLL и качество в последующей задаче

D) Потому что MSE всегда равна KL

Ответ и разбор

Правильный ответ: C. Функциональная чувствительность сети анизотропна.

Вопрос 9.6.4

9.6. Где скорость–искажение появляется в реальном ML-коде

Как корректнее всего читать GPTQ, AWQ и SmoothQuant через скорость–искажение?

Один правильный вариантAКак доказательства достижения теоретической

R(D)

BКак методы, полностью не связанные с искажениемCКак универсальные оптимальные коды для i.i.d.-гауссовских весовDКак практические способы выбрать суррогатную меру искажения и неравномерно распределить бюджет

A) Как доказательства достижения теоретической $I(X;\widehat X)$

B) Как методы, полностью не связанные с искажением

C) Как универсальные оптимальные коды для i.i.d.-гауссовских весов

D) Как практические способы выбрать суррогатную меру искажения и неравномерно распределить бюджет

Ответ и разбор

Правильный ответ: D. Их инженерный успех не является доказательством достижения классического предела.

Вопрос 9.6.5

9.6. Где скорость–искажение появляется в реальном ML-коде

Что нужно сделать для честного сравнения компромисса между качеством и размером?

Один правильный вариантAПостроить эмпирическую границу по нескольким значениям

\lambda

\beta

, разрядности или ёмкости и измерить фактическую скоростьBСравнить одну случайную точкуCИспользовать только номинальную разрядностьDИгнорировать задержку и поддержку аппаратуры

A) Построить эмпирическую границу по нескольким значениям $I(X;\widehat X)$ , $t$ , разрядности или ёмкости и измерить фактическую скорость

B) Сравнить одну случайную точку

C) Использовать только номинальную разрядность

D) Игнорировать задержку и поддержку аппаратуры

Ответ и разбор

Правильный ответ: A. Одна точка не показывает форму компромисса.

Вопрос 9.8.1

9.8. Информационная плоскость: нормативный принцип и описательная гипотеза

Что является строгим утверждением, а что — эмпирической гипотезой?

Один правильный вариантAЦелевая функция IB — гипотеза, а любая траектория SGD обязана быть теоремойBIB как заданная оптимизационная задача строг, а естественная IB-траектория обычной сети требует эмпирической проверкиCОба утверждения автоматически следуют из DPIDОба неверны

A) Целевая функция IB — гипотеза, а любая траектория SGD обязана быть теоремой

B) IB как заданная оптимизационная задача строг, а естественная IB-траектория обычной сети требует эмпирической проверки

C) Оба утверждения автоматически следуют из DPI

D) Оба неверны

Ответ и разбор

Правильный ответ: B. Нормативная постановка и описательная модель обучения — разные уровни утверждения.

Вопрос 9.8.2

9.8. Информационная плоскость: нормативный принцип и описательная гипотеза

Почему $I(X;T)$ детерминированного непрерывного слоя может быть проблематичной?

Один правильный вариантAОна всегда равна нулюBОна всегда равна размерности слояCОна часто бесконечна, а дискретизация или шум меняют измеряемую величинуDЕё можно точно получить из функции потерь обучения

A) Она всегда равна нулю

B) Она всегда равна размерности слоя

C) Она часто бесконечна, а дискретизация или шум меняют измеряемую величину

D) Её можно точно получить из функции потерь обучения

Ответ и разбор

Правильный ответ: C. Поэтому графики информационной плоскости зависят от вероятностной постановки и оценивателя.

Вопрос 9.9.1

Факультативный блок

Как выглядит тождество I–MMSE для $Y_\gamma=\sqrt\gamma X+N$ и информации в натах?

Один правильный вариантA

\dfrac d{d\gamma}I(X;Y_\gamma)=\dfrac12\operatorname{mmse}(\gamma)

I(X;Y_\gamma)=\operatorname{mmse}(\gamma)^2

CПроизводная равна энтропии

H(X)

\operatorname{mmse}(\gamma)

всегда постоянна

A) $I(X;\widehat X)$

B) $I(X;Y_\gamma)=\operatorname{mmse}(\gamma)^2$

C) Производная равна энтропии $H(X)$

D) $\operatorname{mmse}(\gamma)$ всегда постоянна

Ответ и разбор

Правильный ответ: A. В битах появляется дополнительный множитель 1/ln 2.

Вопрос 9.9.2

Факультативный блок

Почему нельзя без оговорок писать $h(X)=\tfrac12\int_0^\infty\operatorname{mmse}(\gamma)d\gamma$ для непрерывного $X$ ?

Один правильный вариантAПотому что MMSE отрицательнаBПотому что интеграл, соответствующий

I(X;Y_\Gamma)

, обычно расходится при

\Gamma\to\infty

и требует перенормировкиCПотому что I–MMSE верна только для дискретных переменныхDПотому что дифференциальная энтропия всегда бесконечна

A) Потому что MMSE отрицательна

B) Потому что интеграл, соответствующий $P(t)$ , обычно расходится при $\Gamma\to\infty$ и требует перенормировки

C) Потому что I–MMSE верна только для дискретных переменных

D) Потому что дифференциальная энтропия всегда бесконечна

Ответ и разбор

Правильный ответ: B. У гауссовского входа интеграл растёт как 1/2 ln(1+Γ).

Вопрос 9.9.3

Факультативный блок

Что строго даёт формула Тведи на гауссовской траектории зашумления?

Один правильный вариантAЧисло необходимых шагов сэмплирования диффузионной моделиBУниверсальный перцептивно оптимальный график шумаCДоказательство эквивалентности flow matching и IBDСвязь истинной score-функции зашумлённого распределения с апостериорным средним, оптимальным по MSE денойзером

A) Число необходимых шагов сэмплирования диффузионной модели

B) Универсальный перцептивно оптимальный график шума

C) Доказательство эквивалентности flow matching и IB

D) Связь истинной score-функции зашумлённого распределения с апостериорным средним, оптимальным по MSE денойзером

Ответ и разбор

Правильный ответ: D. Остальные алгоритмические решения не следуют из одного этого тождества.

Вопрос 9.C.1

Вычислительный блок

Источник Бернулли(0.3) кодируется при искажении Хэмминга с $D=0.1$ . Вычислите $R(D)$ в битах. (допуск 0.002)

ОтветАбсолютный допуск: ±0.002

Ответ и разбор

Числовой ответ: 0.412 (допуск 0.002). Здесь R(D) = h₂(0.3) − h₂(0.1) = 0.881 − 0.469 = 0.412 бита. При D ≥ 0.3 скорость падает до нуля, потому что постоянная выдача более вероятного символа уже укладывается в бюджет искажения.

Вопрос 9.C.2

Вычислительный блок

Гауссовский источник с дисперсией $\sigma^2=4$ кодируется по квадратичной ошибке при $D=1$ . Вычислите $R(D)$ в битах. (допуск 0.005)

ОтветАбсолютный допуск: ±0.005

Ответ и разбор

Числовой ответ: 1 (допуск 0.005). Здесь R(D) = ½ log₂(4/1) = 1 бит. Каждое удвоение допустимого искажения экономит ровно полбита, а при D, стремящемся к нулю, скорость расходится — поэтому у непрерывного источника нет конечной скорости кодирования без потерь.

Вопрос 9.C.3

Вычислительный блок

(факультативно)

В гауссовском канале $Y_\gamma=\sqrt\gamma X+N$ с $X,N\sim\mathcal N(0,1)$ вычислите $\operatorname{mmse}(\gamma)$ при $\gamma=3$ . (допуск 0.002)

ОтветАбсолютный допуск: ±0.002

Ответ и разбор

Числовой ответ: 0.25 (допуск 0.002). Апостериорная дисперсия равна 1/(1 + γ) = 0.25. Наблюдение сняло три четверти априорной дисперсии. В натах производная в тождестве I–MMSE равна половине этой величины: dI/dγ = ½ mmse(γ) = 0.125.

Вопрос 9.C.4

Вычислительный блок

(факультативно)

Для того же канала вычислите $I(X;Y_\gamma)$ при $\gamma=3$ в натах. (допуск 0.002)

ОтветАбсолютный допуск: ±0.002

Ответ и разбор

Числовой ответ: 0.693 (допуск 0.002). Здесь I = ½ ln(1 + 3) = ½ ln 4 = 0.693 ната. Дифференцирование даёт 1/(2(1 + γ)) = 0.125, то есть ровно половину MMSE, посчитанной выше, — как и требует тождество I–MMSE.