Современные LLM11 / 20

Модуль 11. Спекулятивное декодирование и квантизация

Выберите ответы и нажмите «Проверить». Для чисел подходят точка, запятая и простые дроби. Ответы и черновики сохраняются в этом браузере и общие для RU/EN.

Проверено: 0 / 19 · Верно: 0

Вопрос 11.4.1

11.4. Точный спекулятивный цикл

Как в точном спекулятивном декодировании принимается предложенный токен?

Один правильный вариантAС вероятностью min(1, p/q), где p и q относятся к этому токенуBЕсли его вероятность у основной модели выше фиксированного порога 0.5CС вероятностью, равной произведению p и q после нормировки

A) С вероятностью min(1, p/q), где p и q относятся к этому токену

B) Если его вероятность у основной модели выше фиксированного порога 0.5

C) С вероятностью, равной произведению p и q после нормировки

Ответ и разбор

Правильный ответ: A. Если основная модель считает токен не менее вероятным, чем черновик, предложение принимается всегда; иначе — с вероятностью p/q. Вместе с корректирующим остатком это восстанавливает распределение основной модели.

Вопрос 11.4.2

11.4. Точный спекулятивный цикл

Температура и top-p включены. Какие вероятности входят в точное правило?

Один правильный вариантAИсходный softmax до обработкиBТолько вероятность самого вероятного токенаCФактические нормированные законы выборки после обработки

A) Исходный softmax до обработки

B) Только вероятность самого вероятного токена

C) Фактические нормированные законы выборки после обработки

Ответ и разбор

Правильный ответ: C. q описывает закон предложения, p — сохраняемый закон основной модели, на одной истории.

Вопрос 11.5.1

11.5. Решённый пример A: баланс на пяти токенах

Из чего строится корректирующее распределение после первого отказа?

Один правильный вариантAИз распределения основной модели с удалённым отвергнутым токеномBИз нормированной положительной части p − q по всему словарюCИз чернового распределения, умноженного на p/q

A) Из распределения основной модели с удалённым отвергнутым токеном

B) Из нормированной положительной части p − q по всему словарю

C) Из чернового распределения, умноженного на p/q

Ответ и разбор

Правильный ответ: B. Коррекция возвращает массу там, где основная модель даёт больше вероятности, чем черновик. Поэтому используется norm((p−q)+).

Вопрос 11.6.1

11.6. Сколько токенов приносит один цикл

Почему при одинаковой условной вероятности принятия на каждой достигнутой позиции E = 1 + α + … + α^γ?

Один правильный вариантAПотому что все γ предложений принимаются независимо друг от другаBПотому что дополнительный токен выдаётся только при полном принятииCЧтобы дойти до i-й позиции, должны быть приняты все предыдущие предложения

A) Потому что все γ предложений принимаются независимо друг от друга

B) Потому что дополнительный токен выдаётся только при полном принятии

C) Чтобы дойти до i-й позиции, должны быть приняты все предыдущие предложения

Ответ и разбор

Правильный ответ: C. Вероятности дойти до следующих позиций равны 1, α, α² и далее при постоянной условной вероятности принятия. Произвольное среднее наблюдаемых долей не даёт этого равенства.

Вопрос 11.7.1

11.7. Цена цикла и выбор длины черновика

В сценарии α = 0.8 и c = 0.1 где находится лучший γ≤10?

Один правильный вариантAПри γ=6, S≈2.47; максимум вокруг этой точки пологийBПри γ=10, потому что более длинный черновик всегда лучшеCПри γ=1, потому что цена каждого дополнительного предложения всегда превышает пользу

A) При γ=6, S≈2.47; максимум вокруг этой точки пологий

B) При γ=10, потому что более длинный черновик всегда лучше

C) При γ=1, потому что цена каждого дополнительного предложения всегда превышает пользу

Ответ и разбор

Правильный ответ: A. При γ=5 получается около 2.46, при γ=9 — около 2.35. Длина важна, но доля принятия и стоимость предложения обычно важнее точной настройки γ.

Вопрос 11.7.2

11.7. Цена цикла и выбор длины черновика

Что означает результат 1.79× при γ=1, α=0.875 и c=0.05?

Один правильный вариантAЭто универсально измеренное ускорение любой модели с MTPBЭто результат учебной сценарной модели для заданных параметровCЭто точный потолок всех многошаговых MTP-архитектур

A) Это универсально измеренное ускорение любой модели с MTP

B) Это результат учебной сценарной модели для заданных параметров

C) Это точный потолок всех многошаговых MTP-архитектур

Ответ и разбор

Правильный ответ: B. E=1.875 и S=1.875/1.05=1.78571. Число показывает порядок возможного выигрыша в выбранном сценарии, но не воспроизводит конкретное внешнее измерение.

Вопрос 11.7.3

11.7. Цена цикла и выбор длины черновика

При γ=2 условные вероятности принятия равны 0.9 и 0.5. Сколько токенов в среднем выдаёт цикл без EOS?

Один правильный вариантA2.19B2.35C1.40

A) 2.19

B) 2.35

C) 1.40

Ответ и разбор

Правильный ответ: B. E=1+0.9+0.9·0.5=2.35. Среднее 0.7 теряет зависимость от достигнутой глубины.

Вопрос 11.8.1

11.8. Откуда брать черновик

Чем дерево предложений отличается от одной линейной черновой последовательности?

Один правильный вариантAОно всегда сохраняет распределение без корректирующей выборкиBОно не требует проверки основной модельюCОно предлагает несколько ветвей, которые можно проверить совместно

A) Оно всегда сохраняет распределение без корректирующей выборки

B) Оно не требует проверки основной моделью

C) Оно предлагает несколько ветвей, которые можно проверить совместно

Ответ и разбор

Правильный ответ: C. Дерево повышает шанс найти принимаемую ветвь, но усложняет маски, отбор кандидатов и стоимость проверки.

Вопрос 11.9.1

11.9. MTP как встроенный источник предложений

Какое эксплуатационное преимущество даёт нативный MTP?

Один правильный вариантAДля совместимой модели не нужен отдельный полноценный чекпойнт черновой моделиBРаспределение MTP-головы автоматически совпадает с основной моделью на всех задачахCПредложения не требуют вычислений и дополнительной памяти

A) Для совместимой модели не нужен отдельный полноценный чекпойнт черновой модели

B) Распределение MTP-головы автоматически совпадает с основной моделью на всех задачах

C) Предложения не требуют вычислений и дополнительной памяти

Ответ и разбор

Правильный ответ: A. MTP использует модули многотокенного предсказания. Отдельная полноценная черновая модель не обязательна; некоторые семейства хранят модули в совместимом дополнительном чекпойнте.

Вопрос 11.10.1

11.10. Почему проверка похожа на короткий prefill

Почему проверка нескольких предложений может быть эффективнее обычного decode?

Один правильный вариантAОна полностью устраняет чтение весов основной моделиBОдин проход обрабатывает несколько позиций и повышает арифметическую интенсивностьCОна всегда выполняется тем же ядром и с той же стоимостью, что первоначальный prefill

A) Она полностью устраняет чтение весов основной модели

B) Один проход обрабатывает несколько позиций и повышает арифметическую интенсивность

C) Она всегда выполняется тем же ядром и с той же стоимостью, что первоначальный prefill

Ответ и разбор

Правильный ответ: B. Несколько проверяемых позиций лучше амортизируют чтение весов. Реальный выигрыш зависит от KV-трафика, размера пакета и реализации.

Вопрос 11.11.1

11.11. Квантизация после обучения: что именно уменьшается

Чем квантизация после обучения (PTQ) отличается от обучения с учётом квантизации (QAT)?

Один правильный вариантAPTQ квантует только плотные модели, а QAT — только MoEBPTQ всегда квантует лишь веса, а QAT обязательно одновременно веса и активацииCPTQ преобразует готовый чекпойнт, а QAT включает квантизационные эффекты в обучение

A) PTQ квантует только плотные модели, а QAT — только MoE

B) PTQ всегда квантует лишь веса, а QAT обязательно одновременно веса и активации

C) PTQ преобразует готовый чекпойнт, а QAT включает квантизационные эффекты в обучение

Ответ и разбор

Правильный ответ: C. Оси «когда квантуем» и «что квантуем» различны. PTQ работает после обучения; QAT учитывает квантизацию во время оптимизации.

Вопрос 11.12.1

11.12. FP4, микромасштабирование и W4A4

Почему учебный подсчёт даёт 4.25 бита для MXFP4 и 4.50 для NVFP4?

Один правильный вариантAОдин 8-битный локальный масштаб приходится соответственно на 32 и 16 четырёхбитных значенийBУ NVFP4 каждое значение хранит дополнительный половинный бит экспоненты внутри самого кодаCMXFP4 не хранит масштабы внутри тензора

A) Один 8-битный локальный масштаб приходится соответственно на 32 и 16 четырёхбитных значений

B) У NVFP4 каждое значение хранит дополнительный половинный бит экспоненты внутри самого кода

C) MXFP4 не хранит масштабы внутри тензора

Ответ и разбор

Правильный ответ: A. (32·4+8)/32=4.25, а (16·4+8)/16=4.50. Это локальная арифметика метаданных; реальный чекпойнт содержит и другие служебные данные.

Вопрос 11.12.2

11.12. FP4, микромасштабирование и W4A4

Что показывает отношение MSE 3.32 в ноутбуке?

Один правильный вариантAЧто любой FP4 всегда в 3.32 раза точнее любого INT4BЧто на одном учебном векторе с выбросом выбранная FP4-сетка дала меньшую MSECЧто NVFP4 гарантированно лучше сохраняет метрики последующих задач, чем INT4

A) Что любой FP4 всегда в 3.32 раза точнее любого INT4

B) Что на одном учебном векторе с выбросом выбранная FP4-сетка дала меньшую MSE

C) Что NVFP4 гарантированно лучше сохраняет метрики последующих задач, чем INT4

Ответ и разбор

Правильный ответ: B. Это локальный численный пример динамического диапазона. Он не является общим результатом сравнения форматов или моделей.

Вопрос 11.13.1

11.13. Код: корректность раньше ускорения

Как должен обрабатываться полностью нулевой блок в учебном групповом квантайзере?

Один правильный вариантAОн удаляется, а его позиция восстанавливается по индексуBОн получает масштаб предыдущей группыCОн остаётся нулевым при безопасном ненулевом служебном масштабе

A) Он удаляется, а его позиция восстанавливается по индексу

B) Он получает масштаб предыдущей группы

C) Он остаётся нулевым при безопасном ненулевом служебном масштабе

Ответ и разбор

Правильный ответ: C. Деление на нулевой максимум породило бы NaN. Служебный масштаб 1 сохраняет нулевые значения и устойчивость вычисления.

Вопрос 11.13.2

11.13. Код: корректность раньше ускорения

p и q почти совпадают, но положительная разность ненулевая. Как обработать остаток?

Один правильный вариантAНормировать положительную разность по её суммеBОбнулить её при любом малом значенииCПри отказе повторно выбрать из p

A) Нормировать положительную разность по её сумме

B) Обнулить её при любом малом значении

C) При отказе повторно выбрать из p

Ответ и разбор

Правильный ответ: A. Малая масса означает редкую коррекцию, а не отсутствие корректирующего распределения.

Вопрос 11.15.1

11.15. Как сочетать квантизацию и спекулятивное декодирование

Почему коэффициенты квантизации и спекулятивного декодирования нельзя считать независимыми?

Один правильный вариантAПервый метод меняет узкое место и условия, в которых работает второйBКвантизация всегда нарушает точное правило принятия и требует приближённой проверкиCСпекулятивное декодирование требует только bf16-веса

A) Первый метод меняет узкое место и условия, в которых работает второй

B) Квантизация всегда нарушает точное правило принятия и требует приближённой проверки

C) Спекулятивное декодирование требует только bf16-веса

Ответ и разбор

Правильный ответ: A. После уменьшения весового трафика система может упереться в вычисления, KV-кэш или планировщик. Совместный режим нужно профилировать заново.

Вопрос 11.15.2

11.15. Как сочетать квантизацию и спекулятивное декодирование

К какому распределению относится точная гарантия при квантованной основной модели?

Один правильный вариантAК исходному чекпойнту в bf16 независимо от изменения логитовBК распределению фактически исполняемой квантованной моделиCК среднему распределению квантованной и исходной моделей

A) К исходному чекпойнту в bf16 независимо от изменения логитов

B) К распределению фактически исполняемой квантованной модели

C) К среднему распределению квантованной и исходной моделей

Ответ и разбор

Правильный ответ: B. Правило воспроизводит распределение p, вычисляемое проверяющей моделью. Если она квантована, точность относится к её распределению.

Вопрос 11.15.3

11.15. Как сочетать квантизацию и спекулятивное декодирование

Основной шаг ускорился в 4 раза, время черновика не изменилось. Что происходит с c?

Один правильный вариантAУменьшается в 4 разаBУвеличивается в 4 разаCОстаётся прежним

A) Уменьшается в 4 раза

B) Увеличивается в 4 раза

C) Остаётся прежним

Ответ и разбор

Правильный ответ: B. c — отношение времени чернового шага ко времени основного. Уменьшение знаменателя увеличивает отношение.

Вопрос 11.17.1

11.17. Паспорт запуска: квантизация и спекулятивное декодирование

Что обязательно должно быть в воспроизводимом паспорте квантизации и спекулятивного декодирования?

Один правильный вариантAТолько название формата и лучший заявленный коэффициентBТолько размер чекпойнта, версия GPU, объём памяти и среднее число токенов в секундуCФормат и масштабы, источник предложений, параметры проверки, нагрузка, метрики и полный стек

A) Только название формата и лучший заявленный коэффициент

B) Только размер чекпойнта, версия GPU, объём памяти и среднее число токенов в секунду

C) Формат и масштабы, источник предложений, параметры проверки, нагрузка, метрики и полный стек

Ответ и разбор

Правильный ответ: C. Без конфигурации, нагрузки, аппаратуры и измерений ускорение нельзя воспроизвести или корректно сравнить.