Современные LLM10 / 20

Модуль 10. KV-кэши и эффективный инференс

Выберите ответы и нажмите «Проверить». Для чисел подходят точка, запятая и простые дроби. Ответы и черновики сохраняются в этом браузере и общие для RU/EN.

Проверено: 0 / 20 · Верно: 0

Вопрос 10.4.1

10.4. Формализм и решённый пример A: сколько памяти добавляет один токен

Llama-3-8B: L = 32, H_kv = 8, d_h = 128, bf16. Сколько весит токен в кэше?

Один правильный вариантA128 KiB на токен — это 2·32·8·128·2 байт по формуле кэшаB512 KiB на токен, потому что учитываются все 32 запросные головыC16 KiB на токен, поскольку K и V делят одну общую таблицу

A) 128 KiB на токен — это 2·32·8·128·2 байт по формуле кэша

B) 512 KiB на токен, потому что учитываются все 32 запросные головы

C) 16 KiB на токен, поскольку K и V делят одну общую таблицу

Ответ и разбор

Правильный ответ: A. Двойка в формуле — это K и V, и запросные головы в неё не входят. У MHA-эквивалента 70B тот же счёт даёт 2 560 KiB, у DeepSeek-V3 с MLA — 68.625 KiB.

Вопрос 10.4.2

10.4. Формализм и решённый пример A: сколько памяти добавляет один токен

Почему MLA требует отдельной формулы памяти вместо стандартной для GQA?

Один правильный вариантAПотому что MLA хранит кэш в пониженной разрядности, а GQA в bf16BКэшируется латент плюс отдельная RoPE-часть, а не K и V по головамCПотому что MLA восстанавливает ключи заново на каждом шаге декода

A) Потому что MLA хранит кэш в пониженной разрядности, а GQA в bf16

B) Кэшируется латент плюс отдельная RoPE-часть, а не K и V по головам

C) Потому что MLA восстанавливает ключи заново на каждом шаге декода

Ответ и разбор

Правильный ответ: B. Обычный KV хранит 2LHkv·dh значений, MLA — L(dc+dr). При bf16 DeepSeek-V3 даёт 61·(512+64)·2 = 70272 байта = 68.625 KiB на токен.

Вопрос 10.5.1

10.5. Две фазы одного запроса: prefill и decode

Как обычно различаются prefill и decode по вычислительному профилю при достаточно длинном промпте?

Один правильный вариантAPrefill требует больше памяти, decode — больше пропускной способностиBPrefill работает с кэшем, а decode строит его с нуля на каждом шагеCДлинный prefill часто ограничен вычислениями, decode — чтением весов и KV

A) Prefill требует больше памяти, decode — больше пропускной способности

B) Prefill работает с кэшем, а decode строит его с нуля на каждом шаге

C) Длинный prefill часто ограничен вычислениями, decode — чтением весов и KV

Ответ и разбор

Правильный ответ: C. Prefill обрабатывает много позиций крупными матричными операциями и часто ближе к режиму, ограниченному вычислениями. Decode генерирует по одному токену и многократно читает веса и KV-состояние, поэтому часто ограничен пропускной способностью памяти. Граница зависит от длины, размера пакета, вычислительных ядер и оборудования.

Вопрос 10.6.1

10.6. Решённый пример B: как KV-кэш снижает верхнюю границу по пропускной способности памяти

В учебной модели 8B: веса 16 GB, KV 128 KiB/токен, BW=3.35 TB/s, B=1. Какова граница по памяти при 128K?

Один правильный вариантA101 ток/с: шаг декода читает 16 GiB кэша сверх весов моделиB209 ток/с: длина контекста не влияет на скорость чтения весовC196 ток/с: кэш добавляет к чтению лишь несколько процентов

A) 101 ток/с: шаг декода читает 16 GiB кэша сверх весов модели

B) 209 ток/с: длина контекста не влияет на скорость чтения весов

C) 196 ток/с: кэш добавляет к чтению лишь несколько процентов

Ответ и разбор

Правильный ответ: A. BW/(W+NbKV) даёт 100.965 ток/с. Это модель одного чтения весов и KV, без прочих операций и трафика. Строка 1M даёт 22.778 ток/с, но её состояние не помещается в условные 80 GiB.

Вопрос 10.6.2

10.6. Решённый пример B: как KV-кэш снижает верхнюю границу по пропускной способности памяти

В GQA чем отличаются числа голов в расчёте памяти и FLOP внимания?

Один правильный вариантAПамять зависит от Hkv, а QK/AV в нашей оценке — от HqBВ обоих расчётах всегда используется HkvCВ обоих расчётах всегда используется Hq

A) Память зависит от Hkv, а QK/AV в нашей оценке — от Hq

B) В обоих расчётах всегда используется Hkv

C) В обоих расчётах всегда используется Hq

Ответ и разбор

Правильный ответ: A. KV хранится по KV-головам, но каждый запрос своей Q-головы вычисляет внимание. Для 8B/128K учёт QK/AV меняет интенсивность с 0.48222 до 2.55334 FLOP/B.

Вопрос 10.7.1

10.7. Батч-экономика: где заканчивается амортизация весов

Что означает точка насыщения пакета $B^*=W/KV(N)$ ?

Один правильный вариантAМаксимальный размер пакета, который физически помещается в 80 GiB памятиBРазмер пакета, при котором суммарный поток данных KV сравнивается с чтением весовCРазмер пакета, при котором утилизация ускорителя обязательно достигает 100%

A) Максимальный размер пакета, который физически помещается в 80 GiB памяти

B) Размер пакета, при котором суммарный поток данных KV сравнивается с чтением весов

C) Размер пакета, при котором утилизация ускорителя обязательно достигает 100%

Ответ и разбор

Правильный ответ: B. Веса можно амортизировать между запросами пакета, а KV-состояние растёт отдельно для каждого запроса. В учебном сценарии $B^*$ равно 14.9 при 8K, 3.7 при 32K и 0.93 при 128K; после этой области увеличение пакета всё слабее скрывает чтение весов.

Вопрос 10.8.1

10.8. PagedAttention: отделить логический контекст от физического размещения

Какую проблему решает PagedAttention?

Один правильный вариантAУскоряет само внимание, разбивая матрицу логитов на блоки памятиBСжимает кэш, храня страницы в пониженной разрядности на дискеCФрагментацию: кэш выделяется страницами вместо непрерывного буфера

A) Ускоряет само внимание, разбивая матрицу логитов на блоки памяти

B) Сжимает кэш, храня страницы в пониженной разрядности на диске

C) Фрагментацию: кэш выделяется страницами вместо непрерывного буфера

Ответ и разбор

Правильный ответ: C. Преаллокация под максимальную длину тратит память на запросы, которые до неё не дойдут. Страницы позволяют выделять по мере роста и делить общие префиксы между запросами.

Вопрос 10.8.2

10.8. PagedAttention: отделить логический контекст от физического размещения

Зачем нужно копирование при записи (copy-on-write), когда несколько ветвей совместно используют неполный KV-блок?

Один правильный вариантAПосле общего префикса ветви начинают записывать разные токены в один физический блокBЧтобы блоки не выгружались на диск, пока их читает другой запросCЧтобы синхронизировать записи между разными группами устройств

A) После общего префикса ветви начинают записывать разные токены в один физический блок

B) Чтобы блоки не выгружались на диск, пока их читает другой запрос

C) Чтобы синхронизировать записи между разными группами устройств

Ответ и разбор

Правильный ответ: A. Пока общий блок только читается, копия не нужна. Перед первой расходящейся записью ветвь получает собственный блок; иначе последовательности изменили бы общее KV-состояние друг друга.

Вопрос 10.8.3

10.8. PagedAttention: отделить логический контекст от физического размещения

Сколько незанятых слотов у последовательности ровно 2048 токенов при страницах по 16?

Один правильный вариантA0B7.5 в любой конкретной последовательностиC128

A) 0

B) 7.5 в любой конкретной последовательности

C) 128

Ответ и разбор

Правильный ответ: A. 2048 делится на 16 без остатка. 7.5 — ожидание незанятых слотов при равномерном распределении остатков, а не свойство фиксированной длины.

Вопрос 10.9.1

10.9. Кэширование префикса: не пересчитывать одинаковое начало

Что даёт кэширование префикса?

Один правильный вариантAСокращает объём KV, отбрасывая позиции с малым весом вниманияBУстраняет повторный prefill точно общего префикса при совместимых модели, настройках и состоянииCУскоряет decode, заранее предсказывая токены общего префикса

A) Сокращает объём KV, отбрасывая позиции с малым весом внимания

B) Устраняет повторный prefill точно общего префикса при совместимых модели, настройках и состоянии

C) Ускоряет decode, заранее предсказывая токены общего префикса

Ответ и разбор

Правильный ответ: B. Совпасть должны токены и условия, определяющие состояние: модель, её ревизия, позиции и настройки. Повторное использование также ограничено областью доступа. Чтение префикса новыми запросами внимания остаётся; тарифная экономия зависит от контракта сервиса.

Вопрос 10.9.2

10.9. Кэширование префикса: не пересчитывать одинаковое начало

Префикс 7680 токенов уже в кэше; суффикс содержит 512. Что остаётся вычислять?

Один правильный вариантAПроекции суффикса и его внимание к префиксу и предыдущим позициям суффиксаBТолько проекции суффикса; внимание не нужноCПолный prefill всех 8192 позиций

A) Проекции суффикса и его внимание к префиксу и предыдущим позициям суффикса

B) Только проекции суффикса; внимание не нужно

C) Полный prefill всех 8192 позиций

Ответ и разбор

Правильный ответ: A. Кэш устраняет повторное построение состояния префикса, но не его чтение новыми запросами внимания. В учебном расчёте отношение с QK/AV равно 14.402 вместо 16 для одних проекций.

Вопрос 10.9.3

10.9. Кэширование префикса: не пересчитывать одинаковое начало

Два одинаковых блока токенов идут после разных префиксов. Можно ли считать их KV одинаковым?

Один правильный вариантAНет: состояние зависит от всей предшествующей истории и параметров моделиBДа: достаточно хеша самого блокаCДа: если совпадает длина блока

A) Нет: состояние зависит от всей предшествующей истории и параметров модели

B) Да: достаточно хеша самого блока

C) Да: если совпадает длина блока

Ответ и разбор

Правильный ответ: A. Совпадение локального блока не означает совпадения контекстного представления. В практике ключ включает весь префикс и ревизию модели.

Вопрос 10.10.1

10.10. Многоуровневое размещение: когда одного уровня памяти недостаточно

В чём основной компромисс многоуровневого выноса KV?

Один правильный вариантAКэш на CPU занимает больше места из-за иного выравнивания страницBВынесенные блоки нельзя разделять между несколькими запросамиCМесто дешевле, но обратная загрузка идёт по медленной шине

A) Кэш на CPU занимает больше места из-за иного выравнивания страниц

B) Вынесенные блоки нельзя разделять между несколькими запросами

C) Место дешевле, но обратная загрузка идёт по медленной шине

Ответ и разбор

Правильный ответ: C. Выгрузка окупается, когда ожидаемая ценность повторного использования превышает стоимость переноса. Если поток данных по PCIe или сети становится дороже повторного вычисления, префикс выгоднее построить заново.

Вопрос 10.11.1

10.11. Разделение prefill и decode: каждой фазе свой пул

Зачем разносить prefill и decode на разные группы устройств?

Один правильный вариантAФазы имеют разные профили; отдельные пулы могут уменьшить задержки от длинного prefillBЧтобы кэш целиком помещался в память одной из двух группCЧтобы обучение и инференс могли делить один и тот же кластер

A) Фазы имеют разные профили; отдельные пулы могут уменьшить задержки от длинного prefill

B) Чтобы кэш целиком помещался в память одной из двух групп

C) Чтобы обучение и инференс могли делить один и тот же кластер

Ответ и разбор

Правильный ответ: A. Длинный prefill в общей очереди может задерживать decode всех активных сессий. Разделение позволяет независимо настраивать каждую фазу под задержку первого токена, межтокенную задержку и пропускную способность.

Вопрос 10.12.1

10.12. Код (уровень 1): геометрия, пропускная способность и страницы

Как должен вести себя KV-пул при нехватке блоков во время добавления нового токена (append)?

Один правильный вариантAМолча перезаписывать самые старые блоки этой же последовательностиBЯвно отказать, не оставляя пул в частично изменённом состоянииCУменьшать размер блока вдвое, пока свободное место не найдётся

A) Молча перезаписывать самые старые блоки этой же последовательности

B) Явно отказать, не оставляя пул в частично изменённом состоянии

C) Уменьшать размер блока вдвое, пока свободное место не найдётся

Ответ и разбор

Правильный ответ: B. До изменения таблиц проверяем доступные страницы. При отказе таблицы и счётчики ссылок сохраняются, а планировщик решает, отложить ли запрос или освободить память.

Вопрос 10.12.2

10.12. Код (уровень 1): геометрия, пропускная способность и страницы

Кэш сохранил абсолютные позиции [2,5). Что означает truncate(1)?

Один правильный вариантAНедопустимый откат за пределы сохранённого интервалаBВосстановление удалённой позиции 1CСброс абсолютных позиций к нулю

A) Недопустимый откат за пределы сохранённого интервала

B) Восстановление удалённой позиции 1

C) Сброс абсолютных позиций к нулю

Ответ и разбор

Правильный ответ: A. Окно уже удалило более ранний префикс. Контейнер должен отказать без изменения состояния; восстановление требует отдельного снимка или пересчёта.

Вопрос 10.14.1

10.14. Компрессия I: вытеснение — выбрать, какие позиции сохранить

Чем вытеснение по накопленной массе внимания отличается от простой потоковой политики?

Один правильный вариантAОно выгружает блоки в память CPU, а потоковая политика удаляет их безвозвратноBОно применяется только при prefill, а потоковая политика — только при decodeCОно ранжирует позиции по накопленной важности, а не только по их месту в последовательности

A) Оно выгружает блоки в память CPU, а потоковая политика удаляет их безвозвратно

B) Оно применяется только при prefill, а потоковая политика — только при decode

C) Оно ранжирует позиции по накопленной важности, а не только по их месту в последовательности

Ответ и разбор

Правильный ответ: C. Потоковая политика заранее сохраняет, например, начальные опорные токены и хвост окна. Политика с учётом внимания использует накопленную статистику вклада, но требует её хранить и обновлять.

Вопрос 10.15.1

10.15. Компрессия II: квантование, низкоранговое представление и порядок рычагов

Почему переход bf16→3 бита на координату не гарантирует уменьшение всей памяти ровно в 16/3 раза?

Один правильный вариантAГрупповые масштабы, нулевые точки и метаданные страниц тоже занимают памятьBПотому что квантуется только K, а V всегда остаётся в исходном типе данныхCПотому что первые слои модели всегда исключаются из квантования

A) Групповые масштабы, нулевые точки и метаданные страниц тоже занимают память

B) Потому что квантуется только K, а V всегда остаётся в исходном типе данных

C) Потому что первые слои модели всегда исключаются из квантования

Ответ и разбор

Правильный ответ: A. 16/3 относится только к идеальным кодам. Масштабы, нулевые точки (если формат их использует), выравнивание, остаток высокой точности и страницы добавляют память; веса модели тоже остаются.

Вопрос 10.15.2

10.15. Компрессия II: квантование, низкоранговое представление и порядок рычагов

Почему в предложенном порядке проверок вытеснение оставлено последним?

Один правильный вариантAВытеснение необратимо удаляет часть доступного модели контекста и может изменить ответBВытеснение работает только после переноса KV на локальный SSDCВытеснение требует одинаковой битовой ширины всех KV-блоков

A) Вытеснение необратимо удаляет часть доступного модели контекста и может изменить ответ

B) Вытеснение работает только после переноса KV на локальный SSD

C) Вытеснение требует одинаковой битовой ширины всех KV-блоков

Ответ и разбор

Правильный ответ: A. Удалённые позиции недоступны будущему вниманию без пересчёта. Это может разрушить дальнюю зависимость. Квантование и архитектурное сжатие тоже требуют проверки качества: предложенный порядок — инженерный ориентир, не гарантия сохранения ответа.

Вопрос 10.17.1

10.17. Как читать паспорт инференса модели

Что обязательно входит в инференс-паспорт помимо размера весов?

Один правильный вариантAДата выпуска модели и лицензия весовBKV на токен, целевая длина, размер пакета, движок и режим квантования кэшаCЧисло параметров, слоёв и размер словаря

A) Дата выпуска модели и лицензия весов

B) KV на токен, целевая длина, размер пакета, движок и режим квантования кэша

C) Число параметров, слоёв и размер словаря

Ответ и разбор

Правильный ответ: B. Объём весов фиксирован, а KV-состояние зависит от нагрузки. Без длины контекста, размера пакета и схемы кэша один размер весов не отвечает на вопрос, поместится ли конфигурация в память.