Современные LLM8 / 20

Модуль 8. Альтернативы Transformer: SSM, Mamba и гибриды

Выберите ответы и нажмите «Проверить». Для чисел подходят точка, запятая и простые дроби. Ответы и черновики сохраняются в этом браузере и общие для RU/EN.

Проверено: 0 / 19 · Верно: 0

Вопрос 8.4.1

8.4. Формализм: дискретная SSM и Zero-Order Hold

Что вычисляет Zero-Order Hold для линейной SSM?

Один правильный вариантAТочный дискретный переход при постоянном входе на интервалеBПриближённое распределение по координатам предыдущего состоянияCНабор собственных значений только для матрицы наблюдения

A) Точный дискретный переход при постоянном входе на интервале

B) Приближённое распределение по координатам предыдущего состояния

C) Набор собственных значений только для матрицы наблюдения

Ответ и разбор

Правильный ответ: A. ZOH даёт $\bar A=e^{\Delta A}$ и точный held-input coefficient $\bar B$ . В конкретных нейросетевых параметризациях может использоваться другое эффективное входное обновление.

Вопрос 8.4.2

8.4. Формализм: дискретная SSM и Zero-Order Hold

Почему проверка |a|<10⁻¹⁴ недостаточна, чтобы заменить ZOH-коэффициент на Δ?

Один правильный вариантAНужно учитывать произведение Δa: маленькое a при большом Δ не даёт малого шага.BПотому что expm1 определена только для положительных a.CПотому что нулевые собственные значения запрещены.

A) Нужно учитывать произведение Δa: маленькое a при большом Δ не даёт малого шага.

B) Потому что expm1 определена только для положительных a.

C) Потому что нулевые собственные значения запрещены.

Ответ и разбор

Правильный ответ: A. При a=−10⁻¹⁵ и Δ=10¹⁵ произведение равно −1. Нулевой предел применяется именно при a=0.

Вопрос 8.5.1

8.5. Решённый пример A: когда приближение $\Delta B$ заметно отличается от ZOH

При каком $\Delta$ для $a=-1$ приближение $\Delta B$ даёт 10% относительной ошибки?

Один правильный вариантAПримерно 0.10BПримерно 0.19375CПримерно 0.50

A) Примерно 0.10

B) Примерно 0.19375

C) Примерно 0.50

Ответ и разбор

Правильный ответ: B. Корень уравнения $\bar A=e^{\Delta A}$ равен примерно 0.193747558.

Вопрос 8.6.1

8.6. Mamba: селективность и блок

Что означает селективность Mamba?

Один правильный вариантAМодель выбирает один из нескольких полных attention-механизмовBРазмер рекуррентного состояния растёт с важностью токенаCПараметры записи, чтения и шага зависят от текущего входа

A) Модель выбирает один из нескольких полных attention-механизмов

B) Размер рекуррентного состояния растёт с важностью токена

C) Параметры записи, чтения и шага зависят от текущего входа

Ответ и разбор

Правильный ответ: C. Входозависимые $\bar A=e^{\Delta A}$ , $C_t$ и $\Delta_t$ позволяют по-разному записывать, читать и забывать разные токены.

Вопрос 8.7.1

8.7. Mamba-2 и State Space Duality

Какова корректная область утверждения State Space Duality?

Один правильный вариантAСтруктурированный класс SSM соответствует semiseparable masked matrix formBЛюбая непрерывная SSM побитово совпадает с обычным softmax-attentionCЛюбая рекуррентная сеть заменяется единственным dense-attention слоем

A) Структурированный класс SSM соответствует semiseparable masked matrix form

B) Любая непрерывная SSM побитово совпадает с обычным softmax-attention

C) Любая рекуррентная сеть заменяется единственным dense-attention слоем

Ответ и разбор

Правильный ответ: A. SSD связывает конкретный класс структурированных SSM с несколькими вычислительными формами. Она не является тождеством всех SSM и softmax-attention.

Вопрос 8.7.2

8.7. Mamba-2 и State Space Duality

Что позволяет ассоциативность композиции переходов?

Один правильный вариантAПроизвольно переставить токены.BИзменить расстановку скобок, сохранив порядок шагов.CУдалить состояние на границе блока.

A) Произвольно переставить токены.

B) Изменить расстановку скобок, сохранив порядок шагов.

C) Удалить состояние на границе блока.

Ответ и разбор

Правильный ответ: B. Ассоциативность не означает коммутативность. Состояние на границе переносит вклад предыдущих блоков.

Вопрос 8.8.1

8.8. DeltaNet и Gated DeltaNet: память, которую можно исправлять

Что делает delta rule при нормированном ключе и $\beta=1$ ?

Один правильный вариантAСкладывает новое и прежнее значения, не удаляя старую записьBТочно заменяет чтение вдоль выбранного направления ключаCУдаляет всю матрицу состояния перед добавлением новой записи

A) Складывает новое и прежнее значения, не удаляя старую запись

B) Точно заменяет чтение вдоль выбранного направления ключа

C) Удаляет всю матрицу состояния перед добавлением новой записи

Ответ и разбор

Правильный ответ: B. Поправка использует ошибку $\bar A=e^{\Delta A}$ , поэтому после шага чтение по нормированному ключу становится равным $v$ .

Вопрос 8.9.1

8.9. Фиксированное состояние и цена адресуемости

Что показывает рост MSE в игрушечной additive linear memory?

Один правильный вариантAЛюбая Mamba обязательно теряет все записи после 32 токеновBЛюбой softmax-attention всегда обеспечивает нулевую ошибкуCФиксированная матричная память способна накапливать интерференцию

A) Любая Mamba обязательно теряет все записи после 32 токенов

B) Любой softmax-attention всегда обеспечивает нулевую ошибку

C) Фиксированная матричная память способна накапливать интерференцию

Ответ и разбор

Правильный ответ: C. Это результат конкретной синтетической ассоциативной памяти, а не benchmark Mamba или теорема обо всех SSM.

Вопрос 8.9.2

8.9. Фиксированное состояние и цена адресуемости

Что делает множитель логитов 20 в softmax-контроле?

Один правильный вариантAПовышает температуру до 20 и сглаживает веса.BГарантирует точное восстановление любых значений.CЗадаёт температуру 0.05 и делает веса более сосредоточенными.

A) Повышает температуру до 20 и сглаживает веса.

B) Гарантирует точное восстановление любых значений.

C) Задаёт температуру 0.05 и делает веса более сосредоточенными.

Ответ и разбор

Правильный ответ: C. Умножение логитов на 20 эквивалентно делению на температуру 0.05. При конечной температуре ошибка обычно не нулевая.

Вопрос 8.10.1

8.10. Арифметика сделки: полный кэш и основные операции

Какие состояния нужно учитывать в Mamba-style serving cache?

Один правильный вариантAОсновное SSM-state и хвост причинной свёрткиBТолько последнее скрытое состояние последнего слояCПолный список всех входных токенов и их logits

A) Основное SSM-state и хвост причинной свёртки

B) Только последнее скрытое состояние последнего слоя

C) Полный список всех входных токенов и их logits

Ответ и разбор

Правильный ответ: A. При авторегрессивном decode причинная convolution тоже нуждается в недавнем хвосте; считать только ssm_state недостаточно.

Вопрос 8.10.2

8.10. Арифметика сделки: полный кэш и основные операции

Полный Mamba-1-подобный cache равен 10 MiB, а KV-cache — 128 KiB/token. Где кроссовер?

Один правильный вариантAНа 64 токенахBНа 80 токенахCНа 512 токенах

A) На 64 токенах

B) На 80 токенах

C) На 512 токенах

Ответ и разбор

Правильный ответ: B. $\bar A=e^{\Delta A}$ . В 10 MiB входят 8 MiB SSM-state и 2 MiB conv-state.

Вопрос 8.10.3

8.10. Арифметика сделки: полный кэш и основные операции

Mamba-2-подобный cache равен 66.0625 MiB при KV-цене 128 KiB/token. Какой первый целый токен находится после кроссовера?

Один правильный вариантAТокен 512BТокен 528CТокен 529

A) Токен 512

B) Токен 528

C) Токен 529

Ответ и разбор

Правильный ответ: C. Точное отношение равно 528.5, поэтому первый целый токен, при котором KV-cache уже больше, — 529.

Вопрос 8.10.4

8.10. Арифметика сделки: полный кэш и основные операции

При 10 MiB фиксированного состояния и 128 KiB KV на токен когда KV строго больше?

Один правильный вариантAНачиная с 81 токена.BНачиная с 80 токенов.CНачиная с 79 токенов.

A) Начиная с 81 токена.

B) Начиная с 80 токенов.

C) Начиная с 79 токенов.

Ответ и разбор

Правильный ответ: A. На 80 токенах объёмы равны; строгое неравенство начинается на 81.

Вопрос 8.11.1

8.11. Гибриды: три способа совместить сводку и адресацию

Почему у гибрида с редкими слоями полного внимания и сохранением всех K/V память растёт как O(N)?

Один правильный вариантAЭти слои полного внимания хранят K/V для каждого токенаBRecurrent state удваивается на каждом attention-слоеCMoE-роутер сохраняет отдельный лог для каждой позиции

A) Эти слои полного внимания хранят K/V для каждого токена

B) Recurrent state удваивается на каждом attention-слое

C) MoE-роутер сохраняет отдельный лог для каждой позиции

Ответ и разбор

Правильный ответ: A. Меньшее число таких слоёв уменьшает коэффициент, но сохраняет линейную зависимость от длины. Если все адресуемые ветви ограничены фиксированными локальными окнами, вывод о неограниченном росте кэша уже не следует.

Вопрос 8.11.2

8.11. Гибриды: три способа совместить сводку и адресацию

Какой слойный паттерн опубликован для Qwen3.5?

Один правильный вариантAСемь Mamba-слоёв, затем один слой полного attentionBТри Gated DeltaNet-слоя, затем один full-attention слойCПараллельные ветви Mamba-2 и attention внутри каждого блока

A) Семь Mamba-слоёв, затем один слой полного attention

B) Три Gated DeltaNet-слоя, затем один full-attention слой

C) Параллельные ветви Mamba-2 и attention внутри каждого блока

Ответ и разбор

Правильный ответ: B. Официальный паспорт задаёт повторяющуюся схему 3:1: три Gated DeltaNet → MoE и один Gated Attention → MoE.

Вопрос 8.12.1

8.12. Код первого уровня: scan, дельта-правило и чанки

Почему affine scan можно распараллеливать?

Один правильный вариантAВсе шаги вычисляются независимо от любого предыдущего состоянияBКаждая матрица перехода обязана быть строго ортогональнойCКомпозиция affine-переходов образует ассоциативный оператор

A) Все шаги вычисляются независимо от любого предыдущего состояния

B) Каждая матрица перехода обязана быть строго ортогональной

C) Композиция affine-переходов образует ассоциативный оператор

Ответ и разбор

Правильный ответ: C. Ассоциативность позволяет вычислять prefix-compositions деревом и корректно объединять чанки.

Вопрос 8.12.2

8.12. Код первого уровня: scan, дельта-правило и чанки

Какой тест особенно важен для chunked scan?

Один правильный вариантAДлина, не кратная размеру чанкаBТолько длина ровно в один чанкCТолько последовательность из нулей

A) Длина, не кратная размеру чанка

B) Только длина ровно в один чанк

C) Только последовательность из нулей

Ответ и разбор

Правильный ответ: A. Неполный последний чанк выявляет ошибки переноса состояния и off-by-one, которые скрываются на идеально кратных длинах.

Вопрос 8.15.1

8.15. Современный ландшафт: читать не название, а контракт

Почему ярлык linear attention недостаточен для serving-паспорта?

Один правильный вариантAОн не сообщает условия лицензии и разрешённые способы распространенияBОн не сообщает долю слоёв, формы состояния и оставшийся KV-cacheCОн применим только к энкодерам и не описывает авторегрессивный decode

A) Он не сообщает условия лицензии и разрешённые способы распространения

B) Он не сообщает долю слоёв, формы состояния и оставшийся KV-cache

C) Он применим только к энкодерам и не описывает авторегрессивный decode

Ответ и разбор

Правильный ответ: B. Две модели с тем же ярлыком могут иметь чистый recurrent stack, 3:1 hybrid или sparse/full branch и совершенно разную память.

Вопрос 8.16.1

8.16. Аудио, видео и другие длинные потоки

Чем рекуррентная память привлекательна для длинных аудио- и видеопотоков?

Один правильный вариантAПотому что в этих модальностях никогда не нужен точный доступ к прошломуBПотому что их входы всегда статистически однородныCПотому что длинные временные потоки можно обновлять с постоянным состоянием

A) Потому что в этих модальностях никогда не нужен точный доступ к прошлому

B) Потому что их входы всегда статистически однородны

C) Потому что длинные временные потоки можно обновлять с постоянным состоянием

Ответ и разбор

Правильный ответ: C. Преимущество связано с количеством последовательных временных шагов. Для точного возврата к событию всё равно может потребоваться attention или внешняя память.