Современные LLM5 / 20

Модуль 5. Современные механизмы внимания

Выберите ответы и нажмите «Проверить». Для чисел подходят точка, запятая и простые дроби. Ответы и черновики сохраняются в этом браузере и общие для RU/EN.

Проверено: 0 / 23 · Верно: 0

Вопрос 5.4.1

5.4. Формализм: SDPA, маски и масштаб логитов

Зачем в SDPA делить скалярные произведения на $\sqrt{d_h}$ ?

Один правильный вариантAНормировать дисперсию скалярных произведений до порядка единицыBЗаставить softmax выбирать ровно один разрешённый ключ в строкеCСделать форму выхода независимой от числа query- и KV-heads

A) Нормировать дисперсию скалярных произведений до порядка единицы

B) Заставить softmax выбирать ровно один разрешённый ключ в строке

C) Сделать форму выхода независимой от числа query- и KV-heads

Ответ и разбор

Правильный ответ: A. Если все компоненты q и k независимы, имеют нулевые средние и единичные дисперсии, то Var(q·k)=d_h. Деление на sqrt(d_h) возвращает дисперсию к единице. Это мотивационный расчёт исходного масштаба, а не предположение о постоянной независимости обученных признаков.

Вопрос 5.4.2

5.4. Формализм: SDPA, маски и масштаб логитов

Какие ключи разрешены запросу в позиции 5 при окне W=3, включающем текущую позицию?

Один правильный вариантA0, 1, 2B3, 4, 5C4, 5, 6

A) 0, 1, 2

B) 3, 4, 5

C) 4, 5, 6

Ответ и разбор

Правильный ответ: B. Условие 0 ≤ p_q − p_k < 3 оставляет позиции 3–5. Будущее запрещено.

Вопрос 5.4.3

5.4. Формализм: SDPA, маски и масштаб логитов

Почему is_causal=True в SDPA может ошибиться для одного запроса после префикса?

Один правильный вариантAВ прямоугольном случае маска выровнена по верхнему левому углуBSDPA не поддерживает float64CКэш автоматически отключает все маски

A) В прямоугольном случае маска выровнена по верхнему левому углу

B) SDPA не поддерживает float64

C) Кэш автоматически отключает все маски

Ответ и разбор

Правильный ответ: A. Номер строки 0 не равен абсолютной позиции запроса. Передайте явную маску по позициям, отключив is_causal.

Вопрос 5.5.1

5.5. Решённый пример: MHA, MQA, GQA, MLA и гибридная схема

При каком условии расчёт K/V для gpt-oss-120b при 131 072 позициях уменьшается с 9 до 4.504 GiB?

Один правильный вариантAВ гибридной схеме все KV-значения хранятся в int8 вместо bf16BСистема ограничивает кэш 18 локальных слоёв окном 128; ещё 18 слоёв хранят весь контекстCНа длинном контексте отключается половина query-heads каждого слоя

A) В гибридной схеме все KV-значения хранятся в int8 вместо bf16

B) Система ограничивает кэш 18 локальных слоёв окном 128; ещё 18 слоёв хранят весь контекст

C) На длинном контексте отключается половина query-heads каждого слоя

Ответ и разбор

Правильный ответ: B. 4.5 GiB полных слоёв + 4.5 MiB оконных = 4.50439453125 GiB содержимого K/V одной последовательности. Одна маска не гарантирует освобождения памяти; веса и рабочие массивы не учтены.

Вопрос 5.5.2

5.5. Решённый пример: MHA, MQA, GQA, MLA и гибридная схема

Что означает коэффициент 56.89× в учебном сравнении MLA?

Один правильный вариантAУскорение всей генерации DeepSeek-V2 относительно любой MHA-моделиBСокращение полного checkpoint вместе с MoE, embeddings и optimizerCОтношение сырых байтов двух заданных геометрий KV-cache

A) Ускорение всей генерации DeepSeek-V2 относительно любой MHA-модели

B) Сокращение полного checkpoint вместе с MoE, embeddings и optimizer

C) Отношение сырых байтов двух заданных геометрий KV-cache

Ответ и разбор

Правильный ответ: C. Сравниваются MHA-baseline 2·61·128·128·2 и MLA (512+64)·61·2. Это не тот же baseline, что опубликованное 93.3% сокращение DeepSeek-V2.

Вопрос 5.6.1

5.6. MQA и GQA: как запросы делят ключи и значения

При $H_q=64$ и $H_{kv}=8$ чему равен размер группы GQA $g=H_q/H_{kv}$ ?

Один правильный вариантA

g=8

: одна KV-head обслуживает восемь query-headsB

g=1/8

: на query-head приходится одна восьмая KV-headC

g=72

: числа голов складываются после проекций

A) $g=8$ : одна KV-head обслуживает восемь query-heads

B) $g=1/8$ : на query-head приходится одна восьмая KV-head

C) $g=72$ : числа голов складываются после проекций

Ответ и разбор

Правильный ответ: A. 64/8=8. При g=1 получаем MHA, а при H_kv=1 — MQA.

Вопрос 5.6.2

5.6. MQA и GQA: как запросы делят ключи и значения

Какой вывод о качестве GQA поддерживает исходная работа?

Один правильный вариантAЛюбая GQA с группой 8 гарантированно совпадает с MHA по качествуBВ экспериментах авторов GQA была близка к MHA и по скорости к MQACMQA всегда сильнее GQA, если обе архитектуры обучаются с нуля

A) Любая GQA с группой 8 гарантированно совпадает с MHA по качеству

B) В экспериментах авторов GQA была близка к MHA и по скорости к MQA

C) MQA всегда сильнее GQA, если обе архитектуры обучаются с нуля

Ответ и разбор

Правильный ответ: B. Результат эмпирический и относится к протоколу авторов. Он мотивирует компромисс, но не задаёт универсальный оптимальный размер группы.

Вопрос 5.7.1

5.7. MLA: хранить общий латент и переносить линейные проекции

Почему MLA отделяет позиционную ветвь RoPE при поглощении проекций?

Один правильный вариантARoPE нелинейна, поэтому с ней вообще нельзя объединять матрицыBВетка нужна только для совместимости сохранённого формата с GQACПри вращении восстановленных ключей эффективный запрос зависит от позиции ключа

A) RoPE нелинейна, поэтому с ней вообще нельзя объединять матрицы

B) Ветка нужна только для совместимости сохранённого формата с GQA

C) При вращении восстановленных ключей эффективный запрос зависит от позиции ключа

Ответ и разбор

Правильный ответ: C. Из (R_m q)^T R_n A c_n получается эффективный запрос A^T R_(n-m)^T q. Он зависит от n. RoPE линейна; сравнение RA и AR вообще может быть несовместимо по размерам.

Вопрос 5.7.2

5.7. MLA: хранить общий латент и переносить линейные проекции

Как переписать q^T A c без восстановления ключа A c?

Один правильный вариантA(A^T q)^T cB(A q)^T c при любых размерахCq^T c без A

A) (A^T q)^T c

B) (A q)^T c при любых размерах

C) q^T c без A

Ответ и разбор

Правильный ответ: A. Если A имеет размер d_k × d_c, то A^T q имеет размер d_c. Ассоциативность переносит проекцию на сторону запроса.

Вопрос 5.8.1

5.8. FlashAttention: вычислять блоками и реже обращаться к памяти

Какие три величины переносит online softmax между тайлами?

Один правильный вариантAМаксимум, нормировочную сумму и взвешенный числитель выходаBПолную строку логитов, строку вероятностей и её causal maskCИндекс максимума, top-k ключей и невзвешенную сумму значений

A) Максимум, нормировочную сумму и взвешенный числитель выхода

B) Полную строку логитов, строку вероятностей и её causal mask

C) Индекс максимума, top-k ключей и невзвешенную сумму значений

Ответ и разбор

Правильный ответ: A. Состояние (m, l, n) достаточно для точной перенормировки при появлении нового максимума и для получения выхода n/l.

Вопрос 5.8.2

5.8. FlashAttention: вычислять блоками и реже обращаться к памяти

Что FlashAttention делает линейным по длине последовательности?

Один правильный вариантAЧисло всех плотных скалярных произведений между Q и KBДополнительную память: полная матрица

N\times N

не хранится в HBMCЧисло ключей, доступных каждому query в плотном attention

A) Число всех плотных скалярных произведений между Q и K

B) Дополнительную память: полная матрица $N\times N$ не хранится в HBM

C) Число ключей, доступных каждому query в плотном attention

Ответ и разбор

Правильный ответ: B. Dense arithmetic остаётся O(N²d). Линейным становится дополнительное хранилище; IO уменьшается, но зависит от SRAM и размеров тайлов.

Вопрос 5.8.3

5.8. FlashAttention: вычислять блоками и реже обращаться к памяти

Что делать с полностью закрытым блоком ключей в online softmax до первого разрешённого ключа?

Один правильный вариантAВычислить exp(-inf - (-inf))BПропустить блок и сохранить пустое состояниеCВернуть равномерное распределение по запрещённым ключам

A) Вычислить exp(-inf - (-inf))

B) Пропустить блок и сохранить пустое состояние

C) Вернуть равномерное распределение по запрещённым ключам

Ответ и разбор

Правильный ответ: B. Так не возникает неопределённого вычитания. Если все блоки пусты, применяется выбранная политика пустой строки.

Вопрос 5.8.4

5.8. FlashAttention: вычислять блоками и реже обращаться к памяти

Почему потоковое вычисление не гарантирует линейную память всей программы?

Один правильный вариантAГотовая плотная маска N × N сама занимает квадратичную памятьBSoftmax всегда хранит все эпохи обученияCВыход всегда имеет размер N × N

A) Готовая плотная маска N × N сама занимает квадратичную память

B) Softmax всегда хранит все эпохи обучения

C) Выход всегда имеет размер N × N

Ответ и разбор

Правильный ответ: A. Нужно учитывать входы, выход, маску и все временные массивы. В учебном потоковом пути маска создаётся по блокам.

Вопрос 5.9.1

5.9. Скользящее окно и сочетание локальных и полных слоёв

Что означает расстояние $L(W-1)$ для L последовательных локальных слоёв с одинаковым окном W, включающим текущую позицию, без пропусков?

Один правильный вариантAГарантированное сохранение каждого факта на указанной дистанцииBТочную эквивалентность одному глобальному слою того же радиусаCВерхнюю границу пути зависимостей, но не гарантию памяти

A) Гарантированное сохранение каждого факта на указанной дистанции

B) Точную эквивалентность одному глобальному слою того же радиуса

C) Верхнюю границу пути зависимостей, но не гарантию памяти

Ответ и разбор

Правильный ответ: C. Сигнал может проходить через промежуточные слои, но каждый переход преобразует представление. Доступность пути не равна надёжному прямому извлечению.

Вопрос 5.10.1

5.10. Два разных attention sink

Как реализован learned sink в gpt-oss?

Один правильный вариантAДополнительный скалярный логит на голову без value-вкладаBПервый реальный токен, KV которого запрещено удалять из окнаCОдин фиксированный key-вектор, общий для всех query-heads

A) Дополнительный скалярный логит на голову без value-вклада

B) Первый реальный токен, KV которого запрещено удалять из окна

C) Один фиксированный key-вектор, общий для всех query-heads

Ответ и разбор

Правильный ответ: A. Sink добавляется отдельной колонкой к логитам, участвует в нормировке и удаляется перед умножением на V.

Вопрос 5.10.2

5.10. Два разных attention sink

Почему постоянный learned sink нельзя в общем случае заменить обычным фиксированным key?

Один правильный вариантAОбычный key обязательно добавляет ненулевое значение в выходB

q^\top k

зависит от query, а learned sink задаёт постоянный логитC

k

нельзя хранить в том же формате данных, что обычные ключи

A) Обычный key обязательно добавляет ненулевое значение в выход

B) $N\times N$ зависит от query, а learned sink задаёт постоянный логит

C) $k$ нельзя хранить в том же формате данных, что обычные ключи

Ответ и разбор

Правильный ответ: B. Обычный dot product меняется вместе с q. Для точной score-column нужна специальная операция или расширение пространства постоянной координатой.

Вопрос 5.10.3

5.10. Два разных attention sink

Сохраняет ли результат прибавление 2 только к логитам токенов при фиксированном learned sink?

Один правильный вариантAДа, при любых значенияхBНет в общем случае: меняется доля sinkCДа, потому что значение sink нулевое

A) Да, при любых значениях

B) Нет в общем случае: меняется доля sink

C) Да, потому что значение sink нулевое

Ответ и разбор

Правильный ответ: B. Инвариантность softmax требует одинакового сдвига всех логитов, включая sink.

Вопрос 5.11.1

5.11. Разреженное внимание: как выбрать часть позиций

Когда впервые была официально представлена DSA?

Один правильный вариантAВ техническом отчёте DeepSeek-V2, опубликованном в мае 2024 годаBВ закрытом релизе GLM-5.1, объявленном в декабре 2025 годаCВ открытом DeepSeek-V3.2-Exp от 29 сентября 2025 года

A) В техническом отчёте DeepSeek-V2, опубликованном в мае 2024 года

B) В закрытом релизе GLM-5.1, объявленном в декабре 2025 года

C) В открытом DeepSeek-V3.2-Exp от 29 сентября 2025 года

Ответ и разбор

Правильный ответ: C. DeepSeek-V3.2-Exp была построена на V3.1-Terminus и дебютировала с DeepSeek Sparse Attention; были опубликованы отчёт, веса и kernels.

Вопрос 5.11.2

5.11. Разреженное внимание: как выбрать часть позиций

Что использует MoBA для оценки блока в исходной работе?

Один правильный вариантAОтдельный новый обучаемый маршрутизаторBСкалярное произведение запроса со средним ключом блокаCТолько номер блока

A) Отдельный новый обучаемый маршрутизатор

B) Скалярное произведение запроса со средним ключом блока

C) Только номер блока

Ответ и разбор

Правильный ответ: B. Дополнительных параметров маршрутизатора нет; представления Q/K обучаются с моделью. Это не гарантия качества произвольной замены внимания.

Вопрос 5.11.3

5.11. Разреженное внимание: как выбрать часть позиций

При N=2048, d=32, r=8, k=64 какова доля умножений для оценок Nr+kd относительно Nd?

Один правильный вариантA0.03125B0.28125C1.28125

A) 0.03125

B) 0.28125

C) 1.28125

Ответ и разбор

Правильный ответ: B. r/d + k/N = 0.25 + 0.03125. Это только оценки сходства, без top-k, проекций и смешивания значений; не измеренное ускорение.

Вопрос 5.12.1

5.12. Первый уровень реализации: прозрачный NumPy

Почему полностью замаскированная строка может дать NaN даже до деления на ноль?

Один правильный вариантAСтабильный softmax получает неопределённость

-\infty-(-\infty)

BКаузальная маска обязательно добавляет положительную бесконечностьCФормат bf16 не способен представить нулевую вероятность

A) Стабильный softmax получает неопределённость $g=8$

B) Каузальная маска обязательно добавляет положительную бесконечность

C) Формат bf16 не способен представить нулевую вероятность

Ответ и разбор

Правильный ответ: A. Строка без конечного логита не задаёт распределение. Реализация должна явно отклонить её, занулить известную padding-строку или добавить конечный sink score.

Вопрос 5.14.1

5.14. Читаем конфигурацию и реализацию gpt-oss

Почему np.tile даёт правильную форму, но неверную GQA-группировку?

Один правильный вариантAОн преобразует K/V из float в целочисленный тип при повторенииBОн повторяет весь блок, а нужно повторять каждую KV-head подрядCОн автоматически усредняет соседние KV-heads перед расширением

A) Он преобразует K/V из float в целочисленный тип при повторении

B) Он повторяет весь блок, а нужно повторять каждую KV-head подряд

C) Он автоматически усредняет соседние KV-heads перед расширением

Ответ и разбор

Правильный ответ: B. Нужен порядок kv0,kv0,…,kv1,kv1,… . Tile создаёт kv0,kv1,…,kv0,kv1,… и молча связывает queries с чужими ключами.

Вопрос 5.16.1

5.16. Мультимодальность: где хранится информация об изображении

Что входит в расчёт 4096 × 72 KiB = 288 MiB для раннего включения визуальных токенов?

Один правильный вариантAВсю память мультимодальной моделиBТолько дополнительные K/V одной последовательности в заданной полностью глобальной схемеCПамять только визуального кодировщика

A) Всю память мультимодальной модели

B) Только дополнительные K/V одной последовательности в заданной полностью глобальной схеме

C) Память только визуального кодировщика

Ответ и разбор

Правильный ответ: B. Это учебный декодер с заданными 72 KiB на позицию. Веса, визуальные активации и временные массивы не включены. Для локальных слоёв надо учитывать окно.