Современные LLM11 / 20

Модуль 11. Спекулятивное декодирование и квантизация

Сначала попробуйте решить упражнение. Ответы, подробные решения и проектные ориентиры раскрываются отдельно и сохраняют своё состояние при переключении RU/EN.

Скачать файлы курса (.zip) 2588,1 КБ

Архив содержит файлы на обоих языках и вспомогательные материалы с сохранением структуры каталогов.

У1. Точный баланс вручную

Для $p=(0.40,0.30,0.15,0.10,0.05)$ и $q=(0.25,0.35,0.20,0.10,0.10)$ найдите $\alpha$ , корректирующее распределение и проверьте итоговый закон.

Показать ответ и решение

Решение. Принятая масса равна сумме пересечения распределений:

$\min(p,q)=(0.25,0.30,0.15,0.10,0.05),\qquad \alpha=0.85.$

Недостающая масса основной модели — положительная часть $(p-q)_+=(0.15,0,0,0,0)$ . Нормируем её на вероятность коррекции $1-\alpha=0.15$ и получаем $r=(1,0,0,0,0)$ . Итоговый закон одного шага равен

$\min(p,q)+(1-\alpha)r=(0.40,0.30,0.15,0.10,0.05)=p.$

Именно нормировка остатка, а не простое повторное семплирование из $p$ , исправляет распределение после отказа.

У2. Длина цикла

Для $\alpha=0.8$ и $c=0.1$ найдите лучший $\gamma\le9$ в модели $S=E/(1+\gamma c)$ . Затем вычислите иллюстративный MTP-сценарий $\gamma=1$ , $\alpha=0.875$ , $c=0.05$ .

Показать ответ и решение

Решение. Ожидаемое число выданных токенов: принятых предложений и одного корректирующего либо дополнительного токена — геометрическая сумма

$E_\gamma=1+\alpha+\cdots+\alpha^\gamma=\frac{1-\alpha^{\gamma+1}}{1-\alpha}.$

Для $\alpha=0.8$ значения $S=E_\gamma/(1+0.1\gamma)$ при $\gamma=1,\ldots,9$ равны 1.6364, 2.0333, 2.2708, 2.4011, 2.4595, 2.4696, 2.4477, 2.4050, 2.3490. Поэтому максимум при $\gamma=6$ , где $E=3.951424$ и $S=2.46964$ : дальнейний рост принятой длины уже не компенсирует цену построения черновика.

Для MTP-сценария $E=1+0.875=1.875$ , знаменатель $1+0.05=1.05$ , поэтому $S=1.78571$ . Оба результата относятся к заданной модели стоимости, а не к универсальному времени выполнения.

У3. Весовая лестница

Для 8B параметров и 3,35 TB/s восстановите объёмы и пределы bf16, FP8, условных NVFP4/MXFP4 и идеализированного W4. Затем примените $S=2.83790769$ к bf16 и $S=1.78571$ к NVFP4-подобной строке.

Показать ответ и решение

Решение. Для 8 млрд параметров объёмы весов равны 16 GB (bf16), 8 GB (FP8), 4.5 GB (условный NVFP4 с локальными масштабами), 4.25 GB (условный MXFP4) и 4 GB (идеальные ровно 4 бита). Весовой предел для одной генерируемой последовательности оценивается как $Q=3.35\cdot10^{12}/W$ :

Формат	Объём весов, GB	$Q$ , ток/с
bf16	16.00	209.38
FP8	8.00	418.75
NVFP4-like	4.50	744.44
MXFP4-like	4.25	788.24
ideal W4	4.00	837.50

В учебной модели множители применяются к соответствующим весовым пределам: $209.375\cdot2.83790769\approx594.19$ ток/с и $\frac{3.35\cdot10^{12}}{4.5\cdot10^9}\cdot(1.875/1.05)\approx1329.37$ ток/с. Это совместный сценарий с фиксированной относительной стоимостью черновика; реальные ядра, обмены с KV-кэшем и доля принятия могут сделать эффекты не мультипликативными.

У4 [проект]

Начните с «Демо 1» на CPU: распределение следующего токена зависит от предыдущего, а проверка сохраняет один пакет вероятностей на цикл. Сравните эмпирический совместный закон первых двух токенов с точным расчётом; затем измените черновик и длину предложения. Посчитайте вызовы основной модели и выданные токены на вызов. Включите вариант без спекуляции в сравнение и объясните, почему число вызовов не равно времени исполнения. При наличии подходящей локальной модели можно расширить опыт измерениями ITL, полезной пропускной способности и средней длины принятия при трёх нагрузках.

Демо и критерии проекта

Демо к этому проектному упражнению: русскоязычный демонстрационный ноутбук модуля 11, раздел «Демо 1». Он содержит исходный опыт; упражнение предлагает изменить условия и проверить объяснение.

У5 [проект]

В «Демо 2» сравните симметричную INT4 и E2M1-подобную сетку на одной матрице. Посчитайте MSE весов, относительную ошибку выхода слоя и идеальный размер кодов вместе с масштабами. Измените активность входного канала, сохранив матрицу весов: почему MSE весов остаётся прежней, а ошибка выхода меняется? Необязательное расширение — сравнить два реальных низкобитных чекпойнта одной модели на фиксированной отложенной выборке и общем пути исполнения; измерить качество, память и скорость.

Демо и критерии проекта

Демо к этому проектному упражнению: русскоязычный демонстрационный ноутбук модуля 11, раздел «Демо 2». Он содержит исходный опыт; упражнение предлагает изменить условия и проверить объяснение.