Теория информации для машинного обучения1 / 16

Модуль 1. Введение

Выберите ответы и нажмите «Проверить». Для чисел подходят точка, запятая и простые дроби. Ответы и черновики сохраняются в этом браузере и общие для RU/EN.

Проверено: 0 / 14 · Верно: 0

Вопрос 1.1.1

Обязательный тест: разделы 1.1–1.4

Какой вопрос относится к неожиданности одного реализовавшегося исхода, а не к средней неопределённости источника?

Один правильный вариантAКакова средняя неопределённость источника до наблюдения?BНасколько неожиданным оказался именно этот исход при выбранной модели?CНа сколько наблюдение

Y

в среднем снижает неопределённость об

X

?DСколько бит на символ требует оптимальный код на длинных последовательностях?

A) Какова средняя неопределённость источника до наблюдения?

B) Насколько неожиданным оказался именно этот исход при выбранной модели?

C) На сколько наблюдение $Y$ в среднем снижает неопределённость об $X$ ?

D) Сколько бит на символ требует оптимальный код на длинных последовательностях?

Ответ и разбор

Правильный ответ: B. Surprisal относится к одному реализовавшемуся исходу. Энтропия усредняет surprisal по исходам, взаимная информация измеряет среднее снижение неопределённости, а последний вариант описывает скорость создания энтропии. В обиходной речи все четыре называют «информацией».

Вопрос 1.1.2

Обязательный тест: разделы 1.1–1.4

Почему отделение информации от смысла оказалось силой теории Шеннона?

Один правильный вариантAОно заменило любую семантическую задачу одной вероятностьюBОно доказало, что смысла не существуетCОно показало, что семантику всегда можно восстановить из статистики задним числомDОно выделило измеримую инженерную задачу и сделало возможными строгие пределы кодирования и передачи

A) Оно заменило любую семантическую задачу одной вероятностью

B) Оно доказало, что смысла не существует

C) Оно показало, что семантику всегда можно восстановить из статистики задним числом

D) Оно выделило измеримую инженерную задачу и сделало возможными строгие пределы кодирования и передачи

Ответ и разбор

Правильный ответ: D. Именно сужение области сделало возможной точную математическую теорию. Фреймворк не отрицает смысл и не обещает его восстановить — он просто оставляет его за пределами своих величин.

Вопрос 1.1.3

Обязательный тест: разделы 1.1–1.4

Почему одно и то же сообщение может иметь разную неожиданность в разных контекстах?

Один правильный вариантASurprisal зависит только от длины сообщения в символахBСмысл меняет основание логарифмаCКонтекст меняет условную вероятность сообщения при выбранной моделиDSurprisal измеряется после исхода, поэтому от контекста зависеть не может

A) Surprisal зависит только от длины сообщения в символах

B) Смысл меняет основание логарифма

C) Контекст меняет условную вероятность сообщения при выбранной модели

D) Surprisal измеряется после исхода, поэтому от контекста зависеть не может

Ответ и разбор

Правильный ответ: C. Surprisal равен −log p относительно конкретной модели, а вероятность у модели условная — она зависит от того, что уже известно. Величина определяется после исхода, но считается по вероятности, назначенной до него.

Вопрос 1.2.1

Обязательный тест: разделы 1.1–1.4

Что корректно следует из того, что цель предсказания следующего токена не содержит отдельного критерия фактической истинности?

Один правильный вариантAНизкая кросс-энтропия сама по себе не гарантирует, что каждый ответ веренBЛюбое улучшение кросс-энтропии снижает фактическую точностьCЯзыковая модель принципиально не способна хранить факты и рассуждатьDФактическую точность для такой модели вообще нельзя измерить

A) Низкая кросс-энтропия сама по себе не гарантирует, что каждый ответ верен

B) Любое улучшение кросс-энтропии снижает фактическую точность

C) Языковая модель принципиально не способна хранить факты и рассуждать

D) Фактическую точность для такой модели вообще нельзя измерить

Ответ и разбор

Правильный ответ: A. Это утверждение о том, что гарантирует целевая функция, а не о невозможности фактического знания, не о деградации точности и не о невозможности оценить её другими средствами.

Вопрос 1.3.1

Обязательный тест: разделы 1.1–1.4

Какое требование приводит к функциональному уравнению $s(pq)=s(p)+s(q)$ ?

Один правильный вариантAВсе события должны быть равновероятныBНеожиданность не должна зависеть от вероятностиCНеожиданность должна быть ограниченаDНезависимые стадии должны давать аддитивный вклад в неожиданность

A) Все события должны быть равновероятны

B) Неожиданность не должна зависеть от вероятности

C) Неожиданность должна быть ограничена

D) Независимые стадии должны давать аддитивный вклад в неожиданность

Ответ и разбор

Правильный ответ: D. Независимые вероятности перемножаются, а их информационные вклады должны складываться; логарифм — ровно та функция, которая превращает произведения в суммы.

Вопрос 1.3.2

Обязательный тест: разделы 1.1–1.4

У последовательности условные вероятности токенов равны $(1/2,1/2,1/4)$ . Чему равен её отрицательный логарифм правдоподобия в битах?

Один правильный вариантA2 битаB3 битаC4 битаD8 бит

A) 2 бита

B) 3 бита

C) 4 бита

D) 8 бит

Ответ и разбор

Правильный ответ: C. Совместная вероятность равна 1/16, поэтому −log₂(1/16) = 4 бита. Эквивалентно складываются потокенные вклады 1 + 1 + 2 — ради этого логарифм и берётся.

Вопрос 1.3.3

Обязательный тест: разделы 1.1–1.4

Как точнее всего связаны NLL одного наблюдения и эмпирическая кросс-энтропия?

Один правильный вариантANLL — вклад одного наблюдения, а среднее NLL по датасету и есть эмпирическая кросс-энтропияBЭто никак не связанные величиныCОни численно совпадают без уточнения суммирования или усредненияDКросс-энтропия — это NLL одного наименее вероятного наблюдения

A) NLL — вклад одного наблюдения, а среднее NLL по датасету и есть эмпирическая кросс-энтропия

B) Это никак не связанные величины

C) Они численно совпадают без уточнения суммирования или усреднения

D) Кросс-энтропия — это NLL одного наименее вероятного наблюдения

Ответ и разбор

Правильный ответ: A. На практике эти слова часто употребляют как синонимы, но агрегирование существенно: одно наблюдение даёт одно слагаемое, а кросс-энтропия — это ожидание или эмпирическое среднее таких слагаемых.

Вопрос 1.10.1

Факультативный тест второго прохода: разделы 1.10–1.11

Что следует из монотонности и $f(mk)=f(m)+f(k)$ для равномерных источников?

Один правильный вариантAПолная формула Шеннона для произвольных вещественных вероятностейBЛогарифмическая форма

f(n)=c\log n

на равномерных распределенияхCЕдинственность основания логарифмаDНепрерывность

f

на вероятностном симплексе

A) Полная формула Шеннона для произвольных вещественных вероятностей

B) Логарифмическая форма $f(n)=c\log n$ на равномерных распределениях

C) Единственность основания логарифма

D) Непрерывность $f$ на вероятностном симплексе

Ответ и разбор

Правильный ответ: B. Это лишь первый этап вывода. Основание фиксируется позже нормировкой, а переход к неравным вероятностям требует взвешенной группировки и непрерывности.

Вопрос 1.11.1

Факультативный тест второго прохода: разделы 1.10–1.11

Какое свойство переносит результат с равномерных микроисходов на рациональные вероятности?

Один правильный вариантAТолько симметрия относительно перенумерацииBДифференцируемость второго порядкаCАддитивность для независимых источниковDВзвешенная группировка для двухстадийного выбора

A) Только симметрия относительно перенумерации

B) Дифференцируемость второго порядка

C) Аддитивность для независимых источников

D) Взвешенная группировка для двухстадийного выбора

Ответ и разбор

Правильный ответ: D. Рациональные вероятности представимы группами равновероятных микроисходов, и именно взвешенная группировка связывает два уровня выбора. Простой аддитивности недостаточно — это и показывает контрпример с Реньи.

Вопрос 1.11.2

Факультативный тест второго прохода: разделы 1.10–1.11

Зачем в выводе энтропии Шеннона нужна непрерывность?

Один правильный вариантAЧтобы доказать логарифмическую форму на натуральных числахBТолько чтобы выбрать биты вместо натовCЧтобы распространить результат с рациональных векторов вероятностей на произвольные вещественныеDЧтобы гарантировать дифференцируемость энтропии по вероятностям

A) Чтобы доказать логарифмическую форму на натуральных числах

B) Только чтобы выбрать биты вместо натов

C) Чтобы распространить результат с рациональных векторов вероятностей на произвольные вещественные

D) Чтобы гарантировать дифференцируемость энтропии по вероятностям

Ответ и разбор

Правильный ответ: C. Рациональные точки плотны в вероятностном симплексе, поэтому непрерывность продолжает формулу на его замыкание. Дифференцируемость нигде не требуется.

Вопрос 1.11.3

Факультативный тест второго прохода: разделы 1.10–1.11

Что показывает контрпример с энтропией Реньи порядка $2$ ?

Один правильный вариантAАддитивности на независимых произведениях и значения

\log n

на равномерных источниках ещё недостаточно, чтобы выделить энтропию ШеннонаBЭнтропия Шеннона не аддитивнаCВзвешенная группировка следует из одной лишь симметрииDЭнтропия Реньи порядка 2 расходится с шенноновской уже на равномерных распределениях

A) Аддитивности на независимых произведениях и значения $\log n$ на равномерных источниках ещё недостаточно, чтобы выделить энтропию Шеннона

B) Энтропия Шеннона не аддитивна

C) Взвешенная группировка следует из одной лишь симметрии

D) Энтропия Реньи порядка 2 расходится с шенноновской уже на равномерных распределениях

Ответ и разбор

Правильный ответ: A. У энтропии Реньи порядка 2 есть оба этих свойства, включая совпадение на равномерных распределениях, и она всё равно нарушает взвешенную группировку. Именно поэтому выводу нужна более сильная аксиома.

Вопрос 1.11.4

Факультативный тест второго прохода: разделы 1.10–1.11

Чего добивается нормировка $H(1/2,1/2)=1$ бит?

Один правильный вариантAОна доказывает взвешенную группировкуBОна исключает нулевое решение и фиксирует единицу измерения информацииCОна ограничивает число исходов двумяDОна делает максимум энтропии равным единице для любого алфавита

A) Она доказывает взвешенную группировку

B) Она исключает нулевое решение и фиксирует единицу измерения информации

C) Она ограничивает число исходов двумя

D) Она делает максимум энтропии равным единице для любого алфавита

Ответ и разбор

Правильный ответ: B. Аксиомы определяют форму лишь с точностью до неотрицательной константы, а эта константа может оказаться нулём. Нормировка выбирает ненулевой масштаб — это то же самое, что выбрать основание 2.

Вопрос 1.C.1

Вычислительный блок

Источник выдаёт один из 27 равновероятных символов. Сколько бит несёт один символ? (допуск 0.002)

ОтветАбсолютный допуск: ±0.002

Ответ и разбор

Числовой ответ: 4.755 (допуск 0.002). Для равномерного источника из n исходов surprisal каждого исхода равен log₂ n, то есть здесь log₂ 27 = 4.755 бита. Это ответ Хартли и стартовая точка шенноновской таблицы для печатного английского в модуле 2.

Вопрос 1.C.2

Вычислительный блок

Для $P=(1/2,1/4,1/4)$ вычислите энтропию Реньи порядка $2$ , то есть $-\log_2\sum_i p_i^2$ , в битах. (допуск 0.002)

ОтветАбсолютный допуск: ±0.002

Ответ и разбор

Числовой ответ: 1.415 (допуск 0.002). Сумма квадратов равна 0.375, поэтому H₂ = −log₂ 0.375 = 1.415 бита, тогда как энтропия Шеннона того же распределения равна ровно 1.5 бита. Две аддитивные меры, совпадающие на равномерных распределениях, здесь уже расходятся — это контрпример §1.11 в числах.