Выберите ответы и нажмите «Проверить». Для чисел подходят точка, запятая и простые дроби. Ответы и черновики сохраняются в этом браузере и общие для RU/EN.
Для автоматической проверки включите JavaScript. Вопросы и раскрываемые ответы доступны ниже.
Проверено: 0 / 20 · Верно: 0
Сбросить прогресс Вопрос 2.1.1 2.1. Определение и свойства
Какая величина является неожиданностью конкретного исхода x x x P P P
A) − ∑ x p ( x ) log 2 p ( x ) -\sum_xp(x)\log_2p(x) − ∑ x p ( x ) log 2 p ( x )
B) ∑ x p ( x ) 2 \sum_xp(x)^2 ∑ x p ( x ) 2
C) − log 2 p ( x ) -\log_2p(x) − log 2 p ( x )
D) 2 − log 2 p ( x ) 2^{-\log_2p(x)} 2 − l o g 2 p ( x )
Ответ и разбор Правильный ответ: C. Surprisal относится к одному исходу. Вариант A — это энтропия, то есть ожидание surprisal, а вариант D упрощается обратно до самой p(x).
Вопрос 2.1.2 2.1. Определение и свойства
У случайной величины алфавит из n n n m < n m<n m < n
A) H ( X ) ≤ log 2 ( n − m ) H(X)\le\log_2(n-m) H ( X ) ≤ log 2 ( n − m )
B) H ( X ) ≤ log 2 n H(X)\le\log_2n H ( X ) ≤ log 2 n m m m
C) H ( X ) ≤ m / n H(X)\le m/n H ( X ) ≤ m / n
D) H ( X ) ≤ log 2 m H(X)\le\log_2m H ( X ) ≤ log 2 m
Ответ и разбор Правильный ответ: D. Энтропия не превосходит логарифма размера положительного носителя. Граница log₂ n тоже верна, но слабее, и при m < n она недостижима — именно в утверждении о достижимости и ошибается вариант B.
Вопрос 2.1.3 2.1. Определение и свойства
Какое неравенство корректно выражает вогнутость энтропии?
A) H ( λ p + ( 1 − λ ) q ) ≥ λ H ( p ) + ( 1 − λ ) H ( q ) H(\lambda p+(1-\lambda)q)\ge\lambda H(p)+(1-\lambda)H(q) H ( λ p + ( 1 − λ ) q ) ≥ λ H ( p ) + ( 1 − λ ) H ( q )
B) H ( λ p + ( 1 − λ ) q ) ≤ λ H ( p ) + ( 1 − λ ) H ( q ) H(\lambda p+(1-\lambda)q)\le\lambda H(p)+(1-\lambda)H(q) H ( λ p + ( 1 − λ ) q ) ≤ λ H ( p ) + ( 1 − λ ) H ( q )
C) H ( λ p + ( 1 − λ ) q ) = H ( p ) + H ( q ) H(\lambda p+(1-\lambda)q)=H(p)+H(q) H ( λ p + ( 1 − λ ) q ) = H ( p ) + H ( q )
D) H ( λ p + ( 1 − λ ) q ) ≥ max { H ( p ) , H ( q ) } H(\lambda p+(1-\lambda)q)\ge\max\{H(p),H(q)\} H ( λ p + ( 1 − λ ) q ) ≥ max { H ( p ) , H ( q )}
Ответ и разбор Правильный ответ: A. Энтропия смеси не меньше средней энтропии компонентов. Превосходить каждый компонент она не обязана, поэтому вариант D утверждает больше, чем даёт вогнутость.
Вопрос 2.2.1 2.2. Совместная и условная энтропия
Как выглядит цепное правило для трёх случайных величин?
Один правильный вариант A H ( X , Y , Z ) = H ( X ) + H ( Y ) + H ( Z ) H(X,Y,Z)=H(X)+H(Y)+H(Z) H ( X , Y , Z ) = H ( X ) + H ( Y ) + H ( Z ) X , Y , Z X,Y,Z X , Y , Z B H ( X , Y , Z ) = H ( X ) + H ( Y ∣ X ) + H ( Z ∣ X , Y ) H(X,Y,Z)=H(X)+H(Y\mid X)+H(Z\mid X,Y) H ( X , Y , Z ) = H ( X ) + H ( Y ∣ X ) + H ( Z ∣ X , Y ) C H ( X , Y , Z ) = H ( X ) + H ( Y ∣ X ) + H ( Z ∣ Y ) H(X,Y,Z)=H(X)+H(Y\mid X)+H(Z\mid Y) H ( X , Y , Z ) = H ( X ) + H ( Y ∣ X ) + H ( Z ∣ Y ) D H ( X , Y , Z ) = H ( X ) H ( Y ∣ X ) H ( Z ∣ X , Y ) H(X,Y,Z)=H(X)H(Y\mid X)H(Z\mid X,Y) H ( X , Y , Z ) = H ( X ) H ( Y ∣ X ) H ( Z ∣ X , Y ) Проверить
A) H ( X , Y , Z ) = H ( X ) + H ( Y ) + H ( Z ) H(X,Y,Z)=H(X)+H(Y)+H(Z) H ( X , Y , Z ) = H ( X ) + H ( Y ) + H ( Z ) X , Y , Z X,Y,Z X , Y , Z
B) H ( X , Y , Z ) = H ( X ) + H ( Y ∣ X ) + H ( Z ∣ X , Y ) H(X,Y,Z)=H(X)+H(Y\mid X)+H(Z\mid X,Y) H ( X , Y , Z ) = H ( X ) + H ( Y ∣ X ) + H ( Z ∣ X , Y )
C) H ( X , Y , Z ) = H ( X ) + H ( Y ∣ X ) + H ( Z ∣ Y ) H(X,Y,Z)=H(X)+H(Y\mid X)+H(Z\mid Y) H ( X , Y , Z ) = H ( X ) + H ( Y ∣ X ) + H ( Z ∣ Y )
D) H ( X , Y , Z ) = H ( X ) H ( Y ∣ X ) H ( Z ∣ X , Y ) H(X,Y,Z)=H(X)H(Y\mid X)H(Z\mid X,Y) H ( X , Y , Z ) = H ( X ) H ( Y ∣ X ) H ( Z ∣ X , Y )
Ответ и разбор Правильный ответ: B. Каждая новая величина добавляется при условии всех предыдущих, а не только последней. Обусловливание только на Y, как в варианте C, теряет информацию, которую о Z может нести X.
Вопрос 2.2.2 2.2. Совместная и условная энтропия
Какое утверждение об условной энтропии верно?
A) Для каждого x x x H ( Y ∣ X = x ) ≤ H ( Y ) H(Y\mid X=x)\le H(Y) H ( Y ∣ X = x ) ≤ H ( Y )
B) Всегда H ( Y ∣ X ) = H ( Y ) − H ( X ) H(Y\mid X)=H(Y)-H(X) H ( Y ∣ X ) = H ( Y ) − H ( X )
C) Всегда H ( Y ∣ X ) < H ( Y ) H(Y\mid X)<H(Y) H ( Y ∣ X ) < H ( Y ) Y Y Y
D) Всегда H ( Y ∣ X ) ≤ H ( Y ) H(Y\mid X)\le H(Y) H ( Y ∣ X ) ≤ H ( Y ) x x x H ( Y ∣ X = x ) > H ( Y ) H(Y\mid X=x)>H(Y) H ( Y ∣ X = x ) > H ( Y )
Ответ и разбор Правильный ответ: D. Неравенство относится к среднему по X. Отдельное наблюдение может открыть более неоднозначный режим, а при независимости неравенство обращается в равенство — это исключает вариант C.
Вопрос 2.2.3 2.2. Совместная и условная энтропия
Когда выполняется
H ( X , Y ) = H ( X ) + H ( Y ) H(X,Y)=H(X)+H(Y) H ( X , Y ) = H ( X ) + H ( Y )
?
A) Для любых дискретных X X X Y Y Y
B) Тогда и только тогда, когда X = Y X=Y X = Y
C) Тогда и только тогда, когда X X X Y Y Y
D) Когда X X X Y Y Y
Ответ и разбор Правильный ответ: C. По цепному правилу равенство эквивалентно H(Y|X) = H(Y), а это и есть независимость. Нулевая корреляция — гораздо более слабое условие и не достаточна.
Вопрос 2.2.4 2.2. Совместная и условная энтропия
Пусть данные порождаются распределением P P P Q θ Q_\theta Q θ
E X 1 : n ∼ P [ − log 2 q θ ( X 1 : n ) ] \mathbb E_{X_{1:n}\sim P}\!\left[-\log_2q_\theta(X_{1:n})\right] E X 1 : n ∼ P [ − log 2 q θ ( X 1 : n ) ]
?
A) Энтропию P P P
B) Кросс-энтропию источника P P P Q θ Q_\theta Q θ
C) Энтропию параметров θ \theta θ
D) Предсказательную энтропию Q θ Q_\theta Q θ
Ответ и разбор Правильный ответ: B. Чьё распределение стоит под логарифмом и чьё задаёт усреднение — разные вопросы. Энтропии P эта величина равна только при совпадении модельных и истинных условных распределений почти всюду по P, и она не является собственной предсказательной энтропией модели, которая усредняется по Q.
Вопрос 2.3.2 2.3. Монета, скорость создания энтропии и английский текст
Для стационарного процесса на конечном алфавите скорость создания энтропии можно записать как
Один правильный вариант A h = lim n → ∞ H ( X n ) \displaystyle h=\lim_{n\to\infty}H(X_n) h = n → ∞ lim H ( X n ) B h = ∑ n = 1 ∞ H ( X n ) \displaystyle h=\sum_{n=1}^{\infty}H(X_n) h = n = 1 ∑ ∞ H ( X n ) C h = lim n → ∞ 1 n H ( X n ∣ X 1 , … , X n − 1 ) \displaystyle h=\lim_{n\to\infty}\frac1nH(X_n\mid X_1,\ldots,X_{n-1}) h = n → ∞ lim n 1 H ( X n ∣ X 1 , … , X n − 1 ) D h = lim n → ∞ H ( X n ∣ X 1 , … , X n − 1 ) = lim n → ∞ 1 n H ( X 1 , … , X n ) \displaystyle h=\lim_{n\to\infty}H(X_n\mid X_1,\ldots,X_{n-1})=\lim_{n\to\infty}\frac1nH(X_1,\ldots,X_n) h = n → ∞ lim H ( X n ∣ X 1 , … , X n − 1 ) = n → ∞ lim n 1 H ( X 1 , … , X n ) Проверить
A) h = lim n → ∞ H ( X n ) \displaystyle h=\lim_{n\to\infty}H(X_n) h = n → ∞ lim H ( X n )
B) h = ∑ n = 1 ∞ H ( X n ) \displaystyle h=\sum_{n=1}^{\infty}H(X_n) h = n = 1 ∑ ∞ H ( X n )
C) h = lim n → ∞ 1 n H ( X n ∣ X 1 , … , X n − 1 ) \displaystyle h=\lim_{n\to\infty}\frac1nH(X_n\mid X_1,\ldots,X_{n-1}) h = n → ∞ lim n 1 H ( X n ∣ X 1 , … , X n − 1 )
D) h = lim n → ∞ H ( X n ∣ X 1 , … , X n − 1 ) = lim n → ∞ 1 n H ( X 1 , … , X n ) \displaystyle h=\lim_{n\to\infty}H(X_n\mid X_1,\ldots,X_{n-1})=\lim_{n\to\infty}\frac1nH(X_1,\ldots,X_n) h = n → ∞ lim H ( X n ∣ X 1 , … , X n − 1 ) = n → ∞ lim n 1 H ( X 1 , … , X n )
Ответ и разбор Правильный ответ: D. При стационарности условные энтропии следующего символа не возрастают и сходятся, а нормированная блочная энтропия имеет тот же предел как среднее Чезаро. Обратите внимание: условная энтропия на n не делится — в этом ошибка варианта C.
Вопрос 2.3.3 2.3. Монета, скорость создания энтропии и английский текст
Как точнее всего читать результат Шеннона 1951 года для английского текста?
A) В конкретном эксперименте на предсказание он получил примерно 0.6–1.3 бита на символ как нижнюю и верхнюю оценки при длинном контексте и заключил, что порядок величины — около одного бита
B) Он измерил функцию потерь языковой модели на тестовом корпусе
C) Он доказал универсальную константу ровно в 1 бит на каждый английский символ
D) Он установил скорость создания энтропии английского независимо от алфавита и предобработки
Ответ и разбор Правильный ответ: A. Шеннон подчёркивал ограничения выборки и метода. Результат исторически важен, но это не точная константа, и сформулирован он для конкретного 27-символьного алфавита и протокола.
Вопрос 2.3.4 2.3. Монета, скорость создания энтропии и английский текст
Что в первую очередь измеряет величина «бит на символ», посчитанная по конкретной LLM на фиксированном корпусе?
A) Число параметров модели на символ
B) Универсальную энтропию английского языка, не зависящую от корпуса и модели
C) Модельно-зависимую кросс-энтропию, то есть скорость кодирования при заданной схеме оценивания
D) Нижнюю границу скорости создания энтропии источника
Ответ и разбор Правильный ответ: C. Результат зависит от корпуса, предобработки, доступного контекста, модели и возможных утечек. Математическое ожидание кросс-энтропии не меньше соответствующей энтропии источника. Средняя NLL на одном конечном корпусе может отклоняться в обе стороны и сама по себе не сертифицирует ни верхнюю, ни нижнюю границу энтропийной скорости.
Вопрос 2.4.1 2.4. Применения в ML/NLP/LLM
Низкая предсказательная энтропия LLM при фиксированном контексте означает, что
A) вероятностная масса сосредоточена на небольшом числе токенов
B) наиболее вероятный токен фактически верен
C) модель хорошо откалибрована
D) функция потерь для фактического токена будет мала
Ответ и разбор Правильный ответ: A. Энтропия измеряет концентрацию и ничего больше. Модель может быть уверенно неправа — это как раз тот случай, когда энтропия низкая, а потеря для фактического токена велика.
Вопрос 2.4.4 2.4. Применения в ML/NLP/LLM
Как в общем случае связаны средняя функция потерь L ^ b \widehat L_b L b
A) PPL = log b L ^ b \operatorname{PPL}=\log_b\widehat L_b PPL = log b L b
B) PPL = b L ^ b \operatorname{PPL}=b^{\widehat L_b} PPL = b L b
C) PPL = b L ^ b \operatorname{PPL}=b^{\widehat L_b} PPL = b L b
D) PPL = 1 − L ^ b \operatorname{PPL}=1-\widehat L_b PPL = 1 − L b
Ответ и разбор Правильный ответ: B. Основание должно совпадать с тем, в котором измерены потери: e для натов, 2 для бит. Токенизатор задаёт сами события предсказания, поэтому перплексии разных токенизаторов напрямую несравнимы.
Вопрос 2.1.4 Факультативное математическое и инженерное углубление
Почему в доказательстве H ( X ) ≤ log 2 n H(X)\le\log_2n H ( X ) ≤ log 2 n S = { x : p ( x ) > 0 } \mathcal S=\{x:p(x)>0\} S = { x : p ( x ) > 0 }
A) Потому что энтропия определена только для строго положительных вероятностей
B) Чтобы поменять основание логарифма с 2 на e e e
C) Чтобы избежать неопределённого выражения 1 / p ( x ) 1/p(x) 1/ p ( x ) p ( x ) = 0 p(x)=0 p ( x ) = 0
D) Потому что неравенство Йенсена требует конечного носителя
Ответ и разбор Правильный ответ: C. Соглашение 0 log 0 = 0 корректно определяет энтропию на границе симплекса, так что с самой энтропией всё в порядке. Ломается именно промежуточное выражение внутри шага Йенсена.
Вопрос 2.3.1 Факультативное математическое и инженерное углубление
Почему в модуле бинарная энтропия обозначается h 2 ( p ) h_2(p) h 2 ( p ) H 2 ( p ) H_2(p) H 2 ( p )
A) Строчная буква отмечает величину, измеренную в натах
B) Прописная H H H
C) Такое обозначение меняет основание логарифма с 2 на e e e
D) Строчная h 2 h_2 h 2
Ответ и разбор Правильный ответ: D. Индекс 2 здесь означает два исхода, а в записи H₂ он обычно означает порядок Реньи. Регистр буквы — единственное, что разделяет две конвенции.
Вопрос 2.4.2 Факультативное математическое и инженерное углубление
Пусть q T ( v ) ∝ exp ( z v / T ) q_T(v)\propto\exp(z_v/T) q T ( v ) ∝ exp ( z v / T ) T T T
A) Не возрастает
B) Не убывает; в натах d H ( q T ) d T = Var q T ( z ) T 3 ≥ 0 \displaystyle \frac{dH(q_T)}{dT}=\frac{\operatorname{Var}_{q_T}(z)}{T^3}\ge0 d T d H ( q T ) = T 3 Var q T ( z ) ≥ 0
C) Всегда постоянна
D) Не убывает, и тот же аргумент покрывает фильтрацию top-k k k p p p
Ответ и разбор Правильный ответ: B. Если логиты не все одинаковы, энтропия строго возрастает с температурой. Утверждение относится именно к чистому температурному масштабированию: методы усечения сначала меняют носитель и лишь потом нормируют, поэтому им нужен отдельный аргумент.
Вопрос 2.4.3 Факультативное математическое и инженерное углубление
В базовом одношаговом точном speculative decoding средняя вероятность принять черновой токен равна
Один правильный вариант A ∑ v min { p ( v ) , q ( v ) } = 1 − TV ( p , q ) \sum_v\min\{p(v),q(v)\}=1-\operatorname{TV}(p,q) ∑ v min { p ( v ) , q ( v )} = 1 − TV ( p , q ) B H ( p ) + H ( q ) H(p)+H(q) H ( p ) + H ( q ) C 1 − TV ( p , q ) 1-\operatorname{TV}(p,q) 1 − TV ( p , q ) p p p q q q D 1 − H ( q ) 1-H(q) 1 − H ( q ) Проверить
A) ∑ v min { p ( v ) , q ( v ) } = 1 − TV ( p , q ) \sum_v\min\{p(v),q(v)\}=1-\operatorname{TV}(p,q) ∑ v min { p ( v ) , q ( v )} = 1 − TV ( p , q )
B) H ( p ) + H ( q ) H(p)+H(q) H ( p ) + H ( q )
C) 1 − TV ( p , q ) 1-\operatorname{TV}(p,q) 1 − TV ( p , q ) p p p q q q
D) 1 − H ( q ) 1-H(q) 1 − H ( q )
Ответ и разбор Правильный ответ: A. Приём определяется перекрытием чернового и целевого распределений. У двух черновиков с одинаковой энтропией доля принятия может отличаться радикально, потому что энтропия ничего не говорит о том, где лежит масса.
Вопрос 2.C.1 Вычислительный блок
Вычислите энтропию q B = ( 0.40 , 0.30 , 0.20 , 0.10 ) q_B=(0.40,0.30,0.20,0.10) q B = ( 0.40 , 0.30 , 0.20 , 0.10 )
Ответ Абсолютный допуск: ±0.002
Проверить
Ответ и разбор Числовой ответ: 1.846 (допуск 0.002). У классификатора q_A = (0.97, 0.01, 0.01, 0.01) из §2.1 тот же argmax, но энтропия всего 0.242 бита. Различает их именно энтропия, а не решение.
Вопрос 2.C.2 Вычислительный блок
Для того же q B q_B q B 2 H 2^{H} 2 H
Ответ Абсолютный допуск: ±0.005
Проверить
Ответ и разбор Числовой ответ: 3.596 (допуск 0.005). Четыре исхода с такими вероятностями несут столько же неопределённости, сколько примерно 3.6 равновероятных. Это число не обязано быть целым и не равно размеру носителя.
Вопрос 2.C.3 Вычислительный блок
У смещённой кости p = ( 1 / 2 , 1 / 4 , 1 / 8 , 1 / 16 , 1 / 32 , 1 / 32 ) p=(1/2,1/4,1/8,1/16,1/32,1/32) p = ( 1/2 , 1/4 , 1/8 , 1/16 , 1/32 , 1/32 )
Ответ Абсолютный допуск: ±0.002
Проверить
Ответ и разбор Числовой ответ: 1.9375 (допуск 0.002). Все вероятности — степени двойки, поэтому каждая неожиданность равна целому числу бит и энтропия получается точной. Честная кость стоила бы log₂ 6 = 2.585 бита, то есть смещение экономит около 0.647 бита на бросок.
Вопрос 2.C.4 Вычислительный блок
(факультативно)
Целевое распределение p = ( 0.9 , 0.1 ) p=(0.9,0.1) p = ( 0.9 , 0.1 ) q = ( 0.1 , 0.9 ) q=(0.1,0.9) q = ( 0.1 , 0.9 )
Ответ Абсолютный допуск: ±0.005
Проверить
Ответ и разбор Числовой ответ: 0.2 (допуск 0.005). Перекрытие равно min(0.9, 0.1) + min(0.1, 0.9) = 0.2. Черновик, равный p, дал бы 1.0 при ровно той же энтропии — поэтому приём зависит от согласия, а не от остроты распределения.