Модуль 12. Диффузионные LLM

Решение. AR генерирует один токен за проход, поэтому его верхняя оценка равна $1/0.004776119=209.375$ ток/с. dLLM за $S$ проходов раскрывает холст из 1024 токенов; её средняя скорость в этой модели равна $1024/(S\cdot0.016549495)$. Для преимущества требуется

Отсюда $S<295.52$. Максимальное целое — 295; при 296 dLLM уже не быстрее в этой арифметической модели.

Решение. Плотная 8B-модель: объём bf16-весов 16 GB и нижняя граница чтения 4.776 мс; четырёхбитный объём весов 4 GB и граница чтения 1.194 мс. Арифметическая граница блока — 4.137 мс, поэтому bf16-вариант ограничен памятью, а четырёхбитный — вычислениями. DiffusionGemma — разреженная MoE-модель 25.2B/3.8B: разные позиции выбирают разные наборы экспертов, численная точность тензоров неоднородна, фактический трафик определяется объединением выбранных экспертов и средой исполнения. Её результат на H100 измерен в FP8, а NVFP4 относится к Blackwell.

Решение. Нет. Оборудование, нагрузка, качество модели и граница измерения различаются. Особенно показателен Gemini: для $N$ выходных токенов заявленная модель даёт приближённое время $0.84+N/1479$ с при условном переносе опубликованных средних на эту длину, так что 1479 ток/с не является end-to-end скоростью короткого ответа. Сначала нужно выровнять качество на общей задаче, распределение входных/выходных длин, размер пакета, семплер, точность и границы измерения задержки; затем отдельно сравнить время до первого токена, полное время и скорость установившейся генерации.

Решение. В порядке строк/столбцов P1 P2 P3 B1 B2 B3 B4 маска разрешённых связей равна

P1  1 0 0 | 0 0 0 0
P2  1 1 0 | 0 0 0 0
P3  1 1 1 | 0 0 0 0
    -------+--------
B1  1 1 1 | 1 1 1 1
B2  1 1 1 | 1 1 1 1
B3  1 1 1 | 1 1 1 1
B4  1 1 1 | 1 1 1 1

В выбранной маске префикс каузален и не зависит от текущего блока, поэтому K/V первых трёх токенов можно сохранять между шагами демаскирования. Каждая строка активного блока читает весь префикс и весь блок; при изменении масок его четыре состояния нужно пересчитать.

Демо к этому проектному упражнению: русскоязычный демонстрационный ноутбук модуля 12, раздел «Демо 1». Он показывает компактный воспроизводимый пример на малых данных, а не готовое решение полномасштабного проекта.

Демо к этому проектному упражнению: русскоязычный демонстрационный ноутбук модуля 12, раздел «Демо 2». Он показывает компактный воспроизводимый пример на малых данных, а не готовое решение полномасштабного проекта.