Теория информации для машинного обучения14 / 16

Модуль 14. Компьютерное зрение через теорию информации

Выберите ответы и нажмите «Проверить». Для чисел подходят точка, запятая и простые дроби. Ответы и черновики сохраняются в этом браузере и общие для RU/EN.

Проверено: 0 / 25 · Верно: 0

Вопрос 14.1.1

14.1. Почему компьютерное зрение — хороший полигон для теории информации

Где связь компьютерного зрения с теорией информации является наиболее операционально точной?

Один правильный вариантAВ утверждении, что любой визуальный энкодер максимизирует MIBВ интерпретации карты внимания как количества переданных битовCВ нейронном кодеке, где вероятностная модель управляет энтропийным кодером и создаёт поток битовDВ утверждении, что FID равна энтропии изображений

A) В утверждении, что любой визуальный энкодер максимизирует MI

B) В интерпретации карты внимания как количества переданных битов

C) В нейронном кодеке, где вероятностная модель управляет энтропийным кодером и создаёт поток битов

D) В утверждении, что FID равна энтропии изображений

Ответ и разбор

Правильный ответ: C. В нейронном кодеке определены источник, квантованный латент, вероятностная модель, код и фактический поток битов.

Вопрос 14.2.1

14.2. Нейронное сжатие изображений: энтропийная модель и реальный поток битов

Что означает член, отвечающий за rate,

\mathbb E[-\log_2p_\psi(\widehat Y)]

при согласованных энтропийной модели и кодере?

Один правильный вариантAОценку ожидаемой длины кода квантованного латентаBЧисло параметров декодераCЭнтропию исходных RGB-пикселейDТолько регуляризацию без операционного смысла

A) Оценку ожидаемой длины кода квантованного латента

B) Число параметров декодера

C) Энтропию исходных RGB-пикселей

D) Только регуляризацию без операционного смысла

Ответ и разбор

Правильный ответ: A. Кросс-энтропия вероятностной модели на реальных символах определяет достижимую среднюю кодовую длину с конечными накладными расходами.

Вопрос 14.2.2

14.2. Нейронное сжатие изображений: энтропийная модель и реальный поток битов

Зачем при обучении нейронного кодека часто заменяют округление равномерным шумом?

Один правильный вариантAЧтобы получить дифференцируемую релаксацию квантизацииBЧтобы гарантированно уменьшить реальный файлCЧтобы сделать энкодер стохастическим при развёртыванииDЧтобы удалить необходимость энтропийной модели

A) Чтобы получить дифференцируемую релаксацию квантизации

B) Чтобы гарантированно уменьшить реальный файл

C) Чтобы сделать энкодер стохастическим при развёртывании

D) Чтобы удалить необходимость энтропийной модели

Ответ и разбор

Правильный ответ: A. Аддитивный равномерный шум позволяет оптимизировать непрерывный суррогат, но не отменяет измерение реального потока битов.

Вопрос 14.2.3

14.2. Нейронное сжатие изображений: энтропийная модель и реальный поток битов

Какое утверждение о hyperprior корректно?

Один правильный вариантAВсегда выполняется

H(Z)+H(Y\mid Z)<H(Y)

BHyperprior может снизить несоответствие ограниченной энтропийной модели, но стоимость

Z

тоже входит в битовый расходCHyperprior бесплатно уменьшает истинную энтропию источникаDПередача

Z

нарушает цепное правило, но полезна на практике

A) Всегда выполняется $H(Z)+H(Y\mid Z)<H(Y)$

B) Hyperprior может снизить несоответствие ограниченной энтропийной модели, но стоимость $Z$ тоже входит в битовый расход

C) Hyperprior бесплатно уменьшает истинную энтропию источника

D) Передача $Z$ нарушает цепное правило, но полезна на практике

Ответ и разбор

Правильный ответ: B. Выигрыш возникает относительно простой факторизации, а не относительно идеального совместного кода.

Вопрос 14.2.4

14.2. Нейронное сжатие изображений: энтропийная модель и реальный поток битов

Каков основной компромисс авторегрессионной энтропийной модели в нейронном сжатии?

Один правильный вариантAМеньше параметров против большего MSEBБольший батч против меньшего набора данныхCНизкая точность против хорошей калибровкиDБолее точное условное предсказание против последовательной задержки декодирования

A) Меньше параметров против большего MSE

B) Больший батч против меньшего набора данных

C) Низкая точность против хорошей калибровки

D) Более точное условное предсказание против последовательной задержки декодирования

Ответ и разбор

Правильный ответ: D. Уже декодированные символы улучшают предсказание, но создают последовательную зависимость.

Вопрос 14.3.1

14.3. Искажение и перцептивное качество

Что измеряет LPIPS?

Один правильный вариантAf-дивергенцию между распределениями изображенийBТочную человеческую полезностьCЧисло бит в латентном кодеDРасстояние для отдельного изображения в пространстве выученных признаков

A) f-дивергенцию между распределениями изображений

B) Точную человеческую полезность

C) Число бит в латентном коде

D) Расстояние для отдельного изображения в пространстве выученных признаков

Ответ и разбор

Правильный ответ: D. LPIPS сравнивает признаки конкретной пары изображений; это не расхождение между распределениями.

Вопрос 14.3.2

14.3. Искажение и перцептивное качество

Как точнее всего описать FID?

Один правильный вариантAКвадрат

W_2

-расстояния между гауссовскими аппроксимациями распределений Inception-признаковBMSE между каждым сгенерированным изображением и ближайшим реальным изображениемCВзаимная информация между генератором и набором данныхDf-дивергенция исходных распределений пикселей

A) Квадрат $H(Z)+H(Y\mid Z)<H(Y)$ -расстояния между гауссовскими аппроксимациями распределений Inception-признаков

B) MSE между каждым сгенерированным изображением и ближайшим реальным изображением

C) Взаимная информация между генератором и набором данных

D) f-дивергенция исходных распределений пикселей

Ответ и разбор

Правильный ответ: A. FID является метрикой уровня распределения в выбранном пространстве признаков и не измеряет точность отдельной реконструкции.

Вопрос 14.3.3

14.3. Искажение и перцептивное качество

Что утверждает постановка rate–distortion–perception?

Один правильный вариантAПерцептивное качество всегда улучшается вместе с MSEBОграничение на реалистичность обычно сужает достижимую область битового расхода и искаженияCСуществует универсальная аддитивная формула

D(R,P)=D(R)+P

DGAN-функция потерь гарантирует оптимальный кодек

A) Перцептивное качество всегда улучшается вместе с MSE

B) Ограничение на реалистичность обычно сужает достижимую область битового расхода и искажения

C) Существует универсальная аддитивная формула $D(R,P)=D(R)+P$

D) GAN-функция потерь гарантирует оптимальный кодек

Ответ и разбор

Правильный ответ: B. Конкретная граница зависит от источника, меры искажения, меры восприятия и операционных предпосылок.

Вопрос 14.4.1

14.4. Диффузионные модели: гауссовское зашумление, денойзинг и I–MMSE

Каков оптимум на уровне распределения MSE-предиктора $f(X_t)$ для чистого $X_0$ ?

Один правильный вариантAУсловное среднее

\mathbb E[X_0\mid X_t]

BMAP-оценка при любом распределенииCScore

\nabla\log p_t(X_t)

без преобразованияDНезависимая выборка из базового распределения

A) Условное среднее $H(Z)+H(Y\mid Z)<H(Y)$

B) MAP-оценка при любом распределении

C) Score $\nabla\log p_t(X_t)$ без преобразования

D) Независимая выборка из базового распределения

Ответ и разбор

Правильный ответ: A. Условное среднее минимизирует ожидаемую квадратичную ошибку.

Вопрос 14.4.2

14.4. Диффузионные модели: гауссовское зашумление, денойзинг и I–MMSE

Для

X_t=\alpha_tX_0+\sigma_t\varepsilon

какое тождество корректно?

Один правильный вариантAScore всегда равен

X_t/\sigma_t

BScore не связан с денойзеромC

\nabla\log p_t(x_t)=-\mathbb E[\varepsilon\mid x_t]/\sigma_t

\mathbb E[\varepsilon\mid x_t]=0

для любого распределения данных

A) Score всегда равен $H(Z)+H(Y\mid Z)<H(Y)$

B) Score не связан с денойзером

C) $\nabla\log p_t(x_t)=-\mathbb E[\varepsilon\mid x_t]/\sigma_t$

D) $\mathbb E[\varepsilon\mid x_t]=0$ для любого распределения данных

Ответ и разбор

Правильный ответ: C. Тождество для score при гауссовском шуме связывает предиктор шума, апостериорное среднее чистого сигнала и score.

Вопрос 14.4.3

14.4. Диффузионные модели: гауссовское зашумление, денойзинг и I–MMSE

Каков коэффициент в тождестве I–MMSE для информации в натах?

Один правильный вариантAКоэффициент зависит только от размерностиB

\frac{dI}{d\gamma}=2\operatorname{mmse}(\gamma)

I=\operatorname{mmse}

\frac{dI}{d\gamma}=\frac12\operatorname{mmse}(\gamma)

A) Коэффициент зависит только от размерности

B) $\frac{dI}{d\gamma}=2\operatorname{mmse}(\gamma)$

C) $I=\operatorname{mmse}$

D) $\frac{dI}{d\gamma}=\frac12\operatorname{mmse}(\gamma)$

Ответ и разбор

Правильный ответ: D. Для битов дополнительно появляется деление на ln 2.

Вопрос 14.4.4

14.4. Диффузионные модели: гауссовское зашумление, денойзинг и I–MMSE

Чего I–MMSE сама по себе не определяет?

Один правильный вариантAСвязь MI с ошибкой оптимального оцениванияBMMSE гауссовского входаCПроизводную MI по SNRDОптимальное расписание шума diffusion и алгоритм сэмплирования

A) Связь MI с ошибкой оптимального оценивания

B) MMSE гауссовского входа

C) Производную MI по SNR

D) Оптимальное расписание шума diffusion и алгоритм сэмплирования

Ответ и разбор

Правильный ответ: D. Эти инженерные решения требуют дополнительных целевых функций и анализа.

Вопрос 14.5.1

14.5. CLIP и контрастивное выравнивание изображений с текстом

Какова основная обучающая задача CLIP?

Один правильный вариантAРеконструкция пикселейBКонтрастивная классификация согласованных пар image–text внутри батчаCМинимизация

I(X;Z)

напрямуюDПредсказание маски сегментации

A) Реконструкция пикселей

B) Контрастивная классификация согласованных пар image–text внутри батча

C) Минимизация $D(R,P)=D(R)+P$ напрямую

D) Предсказание маски сегментации

Ответ и разбор

Правильный ответ: B. CLIP учится отличать соответствующие подписи и изображения от кандидатов.

Вопрос 14.5.2

14.5. CLIP и контрастивное выравнивание изображений с текстом

Что ограничивает число $\log K$ в InfoNCE?

Один правильный вариантAИстинную MI представленийBПотолок конкретной нижней границы

\log K-\mathcal L

CМаксимальное качество в целевой задачеDРазмерность эмбеддинга

A) Истинную MI представлений

B) Потолок конкретной нижней границы $\frac{dI}{d\gamma}=2\operatorname{mmse}(\gamma)$

C) Максимальное качество в целевой задаче

D) Размерность эмбеддинга

Ответ и разбор

Правильный ответ: B. Истинная MI может быть больше log K; потолок относится к нижней границе.

Вопрос 14.5.3

14.5. CLIP и контрастивное выравнивание изображений с текстом

Почему CLIP нельзя автоматически назвать строгим Information Bottleneck?

Один правильный вариантAIB применим только к дискретным даннымBCLIP не использует изображенияCВ целевой функции нет явного штрафа на

I(X_I;Z_I)

DSoftmax несовместим с MI

A) IB применим только к дискретным данным

B) CLIP не использует изображения

C) В целевой функции нет явного штрафа на $D(R,P)=D(R)+P$

D) Softmax несовместим с MI

Ответ и разбор

Правильный ответ: C. Контрастивное согласование не равно оптимизации полного компромисса IB.

Вопрос 14.5.4

14.5. CLIP и контрастивное выравнивание изображений с текстом

В чём принципиальное отличие функции потерь SigLIP от softmax-функции потерь CLIP?

Один правильный вариантASigLIP вообще не использует отрицательные парыBSigLIP использует попарную sigmoid-цель без одной глобальной softmax-нормировкиCSigLIP является функцией потерь реконструкцииDSigLIP всегда требует батч из миллиона примеров

A) SigLIP вообще не использует отрицательные пары

B) SigLIP использует попарную sigmoid-цель без одной глобальной softmax-нормировки

C) SigLIP является функцией потерь реконструкции

D) SigLIP всегда требует батч из миллиона примеров

Ответ и разбор

Правильный ответ: B. Это ослабляет зависимость вычисления функции потерь от глобальной матрицы сходств батча.

Вопрос 14.6.1

14.6. Самообучение визуальных представлений: инвариантности и защита от коллапса

Какую роль играют аугментации в визуальном SSL?

Один правильный вариантAТолько увеличивают размер набора данныхBВсегда повышают взаимную информацию с меткой целевой задачиCГарантируют сохранение всех меток целевых задачDОпределяют предполагаемые инвариантности представления

A) Только увеличивают размер набора данных

B) Всегда повышают взаимную информацию с меткой целевой задачи

C) Гарантируют сохранение всех меток целевых задач

D) Определяют предполагаемые инвариантности представления

Ответ и разбор

Правильный ответ: D. Если аугментация удаляет информацию, релевантную задаче, DPI запрещает энкодеру восстановить её.

Вопрос 14.6.2

14.6. Самообучение визуальных представлений: инвариантности и защита от коллапса

Как корректнее классифицировать BYOL и DINO?

Один правильный вариантAТочные оцениватели MIBМетоды self-distillation и предсказания между аугментированными версиями без обычной границы InfoNCECМодели masked-реконструкции пикселейDКоды источника Шеннона

A) Точные оцениватели MI

B) Методы self-distillation и предсказания между аугментированными версиями без обычной границы InfoNCE

C) Модели masked-реконструкции пикселей

D) Коды источника Шеннона

Ответ и разбор

Правильный ответ: B. Они могут изучаться информационно, но их целевая функция не является стандартной InfoNCE-оценкой MI.

Вопрос 14.6.3

14.6. Самообучение визуальных представлений: инвариантности и защита от коллапса

Что действительно гарантирует член дисперсии VICReg?

Один правильный вариантAПредотвращает нулевую дисперсию каждой координаты по батчуBДелает координаты независимымиCМаксимизирует семантическую MIDГарантирует линейную разделимость любой целевой переменной

A) Предотвращает нулевую дисперсию каждой координаты по батчу

B) Делает координаты независимыми

C) Максимизирует семантическую MI

D) Гарантирует линейную разделимость любой целевой переменной

Ответ и разбор

Правильный ответ: A. Положительная дисперсия не гарантирует достаточность для задачи, а декорреляция не равна независимости в общем случае.

Вопрос 14.6.4

14.6. Самообучение визуальных представлений: инвариантности и защита от коллапса

Какова предобучающая задача MAE?

Один правильный вариантAСопоставление изображения и текстаBПопарная sigmoid-классификацияCРеконструкция скрытых патчей изображения из видимого контекстаDСостязательная генерация

A) Сопоставление изображения и текста

B) Попарная sigmoid-классификация

C) Реконструкция скрытых патчей изображения из видимого контекста

D) Состязательная генерация

Ответ и разбор

Правильный ответ: C. MAE относится к masked modeling, а не к стандартной контрастивной целевой функции.

Вопрос 14.7.1

14.7. Сжатие CV-модели: квантизация, pruning и distillation

Почему номинальный INT4 не обязательно означает ровно 4 бита на исходный вес в файле?

Один правильный вариантAВес становится float32 после упаковкиBINT4 запрещён для моделей компьютерного зренияCНужно учитывать масштабы, нулевые точки, группировку и выравниваниеDЭнтропия всегда равна 8 бит

A) Вес становится float32 после упаковки

B) INT4 запрещён для моделей компьютерного зрения

C) Нужно учитывать масштабы, нулевые точки, группировку и выравнивание

D) Энтропия всегда равна 8 бит

Ответ и разбор

Правильный ответ: C. Реальный битовый расход определяется полным сериализованным представлением.

Вопрос 14.7.2

14.7. Сжатие CV-модели: квантизация, pruning и distillation

Почему MSE весов — неполная мера искажения для квантизации модели?

Один правильный вариантAОдинаковая ошибка весов может по-разному менять логиты и качество целевой задачиBОна всегда бесконечнаCMSE нельзя вычислитьDMSE применима только к изображениям

A) Одинаковая ошибка весов может по-разному менять логиты и качество целевой задачи

B) Она всегда бесконечна

C) MSE нельзя вычислить

D) MSE применима только к изображениям

Ответ и разбор

Правильный ответ: A. Мера искажения, учитывающая задачу, должна учитывать чувствительность сети.

Вопрос 14.7.3

14.7. Сжатие CV-модели: квантизация, pruning и distillation

Почему 50% неструктурированной разреженности может не дать компрессии?

Один правильный вариантAСтоимость индексов и нерегулярного хранения может превысить экономию на значенияхBНулевые веса всегда занимают 32 дополнительных битаCPruning удваивает число параметровDРазреженные модели нельзя сериализовать

A) Стоимость индексов и нерегулярного хранения может превысить экономию на значениях

B) Нулевые веса всегда занимают 32 дополнительных бита

C) Pruning удваивает число параметров

D) Разреженные модели нельзя сериализовать

Ответ и разбор

Правильный ответ: A. Физический размер и задержка зависят от формата и вычислительных ядер, а не только от доли нулей.

Вопрос 14.8.1

14.8. Один CV-пайплайн, четыре разных информационных бюджета

Какое утверждение о поисковом пайплайне неверно?

Один правильный вариантAПродуктовое квантование (product quantization) можно оценивать по числу байт на объект и recall@KBКвантизацию модели нужно проверять сквозным образомCКосинусное расстояние между эмбеддингами является f-дивергенцией распределенийDНейронный кодек имеет операциональный поток битов

A) Продуктовое квантование (product quantization) можно оценивать по числу байт на объект и recall@K

B) Квантизацию модели нужно проверять сквозным образом

C) Косинусное расстояние между эмбеддингами является f-дивергенцией распределений

D) Нейронный кодек имеет операциональный поток битов

Ответ и разбор

Правильный ответ: C. Косинусное и евклидово расстояния между векторами не являются f-дивергенциями вероятностных распределений.

Вопрос 14.9.1

14.9. Математическое углубление: точный счёт hyperprior

Почему введение служебной переменной (side variable) $Z$ само по себе не уменьшает фундаментальную энтропию кодируемого $Y$ ?

Один правильный вариантAArithmetic coding игнорирует условные вероятностиBHyperprior не передаётся декодеруCСовместные распределения всегда равномерныD

H(Y,Z)=H(Y)+H(Z\mid Y)\ge H(Y)

; hyperprior помогает ограниченному классу моделей, а не снижает фундаментальную энтропию

A) Arithmetic coding игнорирует условные вероятности

B) Hyperprior не передаётся декодеру

C) Совместные распределения всегда равномерны

D) $H(Y,Z)=H(Y)+H(Z\mid Y)\ge H(Y)$ ; hyperprior помогает ограниченному классу моделей, а не снижает фундаментальную энтропию

Ответ и разбор

Правильный ответ: D. Служебная информация облегчает моделирование, но её стоимость должна быть оплачена.