Современные LLM7 / 20

Модуль 7. Mixture of Experts

Выберите ответы и нажмите «Проверить». Для чисел подходят точка, запятая и простые дроби. Ответы и черновики сохраняются в этом браузере и общие для RU/EN.

Проверено: 0 / 21 · Верно: 0

Вопрос 7.4.1

7.4. Формализм: выбираемые и общие эксперты, правила подсчёта

Почему отношение total/active parameters не является гарантированным ускорением MoE?

Один правильный вариантAОно не описывает фактическое время вычислений, перемещения данных и ожидания устройствBTotal всегда считают в bf16, а active — только после 4-битной квантизацииCRouted experts не входят в total, но автоматически включаются в active

A) Оно не описывает фактическое время вычислений, перемещения данных и ожидания устройств

B) Total всегда считают в bf16, а active — только после 4-битной квантизации

C) Routed experts не входят в total, но автоматически включаются в active

Ответ и разбор

Правильный ответ: A. Отношение описывает параметрическую разреженность в объявленной конвенции. Параметры внимания и выходной проекции входят в используемый здесь active-подсчёт gpt-oss, но число параметров не задаёт время операций внимания, обменов и загрузку вычислительных ядер.

Вопрос 7.5.1

7.5. Решённый пример A: gpt-oss с параметрами смещения

Какой total получается для gpt-oss-120b после добавления параметров смещения из открытой реализации?

Один правильный вариантA116 789 050 944 — подсчёт без линейных смещенийB116 829 156 672 — матрицы, нормы, sinks и видимые biasC117 000 000 000 — округлённое название размера модели

A) 116 789 050 944 — подсчёт без линейных смещений

B) 116 829 156 672 — матрицы, нормы, sinks и видимые bias

C) 117 000 000 000 — округлённое название размера модели

Ответ и разбор

Правильный ответ: B. Полный подсчёт со смещениями attention, роутеров и экспертов даёт 116 829 156 672. Число 116 789 050 944 включает те же матрицы, нормы и attention sinks, но исключает смещения линейных слоёв; их вклад равен 40 105 728.

Вопрос 7.5.2

7.5. Решённый пример A: gpt-oss с параметрами смещения

Что нужно сделать перед сравнением active parameters двух MoE-моделей?

Один правильный вариантAСверить только routed experts и top-k в одном слое MoEBПеревести checkpoint обеих моделей в одинаковый числовой форматCСверить embeddings, output head, shared parts и auxiliary modules в конвенции

A) Сверить только routed experts и top-k в одном слое MoE

B) Перевести checkpoint обеих моделей в одинаковый числовой формат

C) Сверить embeddings, output head, shared parts и auxiliary modules в конвенции

Ответ и разбор

Правильный ответ: C. Active parameters не имеют единственного универсального определения. Сравнение требует одинаково учитывать общие части, expert path и дополнительные модули.

Вопрос 7.6.1

7.6. Роутер крупным планом: числовая трассировка

Selection bias изменил состав top-k. Из каких величин строятся веса смеси в рассмотренном router с sigmoid?

Один правильный вариантAИз чистых sigmoid-оценок уже выбранных экспертовBИз оценок вместе с bias после softmax по всем экспертамCИз исходных logits, заменённых целочисленными рангами top-k

A) Из чистых sigmoid-оценок уже выбранных экспертов

B) Из оценок вместе с bias после softmax по всем экспертам

C) Из исходных logits, заменённых целочисленными рангами top-k

Ответ и разбор

Правильный ответ: A. Bias участвует в выборе, но веса смеси нормируются по чистым sigmoid-оценкам выбранных экспертов. Поэтому оценка выбора и вес смеси — разные величины.

Вопрос 7.6.2

7.6. Роутер крупным планом: числовая трассировка

Top-1 роутер перенормирует единственный выбранный вес до 1. Каков градиент этого веса по логитам вдали от смены маршрута?

Один правильный вариантAПроизводная sigmoid выбранного логита.BНоль: нормированный вес здесь постоянен.CНомер выбранного эксперта.

A) Производная sigmoid выбранного логита.

B) Ноль: нормированный вес здесь постоянен.

C) Номер выбранного эксперта.

Ответ и разбор

Правильный ответ: B. Дискретный индекс не дифференцируется. Градиенты роутера зависят от полного контракта весов.

Вопрос 7.7.1

7.7. Балансировка: от дополнительной потери к управлению маршрутом

Что именно устраняет Auxiliary-Loss-Free Balancing?

Один правильный вариантAЛюбое влияние изменённой маршрутизации на обучение экспертовBПрямой interference gradient от отдельной балансировочной целиCНеобходимость измерять частоты назначения токенов экспертам

A) Любое влияние изменённой маршрутизации на обучение экспертов

B) Прямой interference gradient от отдельной балансировочной цели

C) Необходимость измерять частоты назначения токенов экспертам

Ответ и разбор

Правильный ответ: B. Метод не добавляет отдельный auxiliary objective к языковой функции потерь. Bias всё же меняет маршруты и тем самым косвенно меняет, какие эксперты получают градиенты языковой модели.

Вопрос 7.7.2

7.7. Балансировка: от дополнительной потери к управлению маршрутом

Какое правило bias-update является основным в статье Loss-Free Balancing?

Один правильный вариантAПропорциональный шаг, равный полному отклонению нагрузкиBГрадиентный шаг по router z-loss с адаптивной скоростьюCФиксированный sign-step вверх или вниз относительно средней нагрузки

A) Пропорциональный шаг, равный полному отклонению нагрузки

B) Градиентный шаг по router z-loss с адаптивной скоростью

C) Фиксированный sign-step вверх или вниз относительно средней нагрузки

Ответ и разбор

Правильный ответ: C. Основной алгоритм статьи использует знак отклонения нагрузки. Пропорциональный контроллер в notebook отделён и помечен как учебный.

Вопрос 7.7.3

7.7. Балансировка: от дополнительной потери к управлению маршрутом

Как вычисляют router z-loss для нескольких токенов?

Один правильный вариантAВозводят logsumexp каждого токена в квадрат, затем усредняют.BУсредняют logsumexp, затем возводят среднее в квадрат.CВычисляют дисперсию частот выбора экспертов.

A) Возводят logsumexp каждого токена в квадрат, затем усредняют.

B) Усредняют logsumexp, затем возводят среднее в квадрат.

C) Вычисляют дисперсию частот выбора экспертов.

Ответ и разбор

Правильный ответ: A. ST-MoE использует средний квадрат логарифма нормализатора. Квадрат среднего обычно даёт другое значение.

Вопрос 7.7.4

7.7. Балансировка: от дополнительной потери к управлению маршрутом

Как устроена балансировка в отчёте DeepSeek-V3?

Один правильный вариантAТолько router z-loss без измерения нагрузки.BНикаких вспомогательных потерь ни на каком уровне.CСмещения для общей балансировки и небольшой штраф на уровне последовательности.

A) Только router z-loss без измерения нагрузки.

B) Никаких вспомогательных потерь ни на каком уровне.

C) Смещения для общей балансировки и небольшой штраф на уровне последовательности.

Ответ и разбор

Правильный ответ: C. Отсутствие вспомогательной цели у основного контроллера не означает отсутствия всех вспомогательных потерь в модели.

Вопрос 7.8.1

7.8. Узкие и общие эксперты: больше комбинационной гибкости

Как следует читать число C(128,4)=10 668 000?

Один правильный вариантA10 668 000 возможных неупорядоченных top-4 подмножеств без иных ограниченийB128 независимо выученных навыков, каждый из которых активирует 4 экспертаC4 эксперта, которые любой батч гарантированно выбирает из всех 128

A) 10 668 000 возможных неупорядоченных top-4 подмножеств без иных ограничений

B) 128 независимо выученных навыков, каждый из которых активирует 4 эксперта

C) 4 эксперта, которые любой батч гарантированно выбирает из всех 128

Ответ и разбор

Правильный ответ: A. Это комбинаторная верхняя оценка числа подмножеств, а не число выученных навыков. Реальные маршруты дополнительно ограничены обучением, корреляциями и правилами router.

Вопрос 7.8.2

7.8. Узкие и общие эксперты: больше комбинационной гибкости

Какова наиболее осторожная интерпретация shared expert?

Один правильный вариантAОн гарантированно хранит грамматику, арифметику и частые служебные словаBОн постоянно участвует в общей работе и может уменьшать дублирование функций экспертовCОн заменяет attention для токенов, часто встречавшихся в обучающих данных

A) Он гарантированно хранит грамматику, арифметику и частые служебные слова

B) Он постоянно участвует в общей работе и может уменьшать дублирование функций экспертов

C) Он заменяет attention для токенов, часто встречавшихся в обучающих данных

Ответ и разбор

Правильный ответ: B. Shared expert всегда участвует в ветви MoE и мотивирован общей работой и снижением дублирования. Конкретное семантическое содержимое требует интерпретационного эксперимента.

Вопрос 7.8.3

7.8. Узкие и общие эксперты: больше комбинационной гибкости

Как сохранить объём весов и активные FFN-вычисления при делении каждого из 8 экспертов ширины i на четыре?

Один правильный вариантAВыбирать 2 из 32 экспертов ширины i/4.BВыбирать 8 из 128 экспертов ширины i.CВыбирать 8 из 32 ширины i/4 вместо 2 из 8 ширины i.

A) Выбирать 2 из 32 экспертов ширины i/4.

B) Выбирать 8 из 128 экспертов ширины i.

C) Выбирать 8 из 32 ширины i/4 вместо 2 из 8 ширины i.

Ответ и разбор

Правильный ответ: C. Произведения E·i и k·i сохраняются. Стоимость роутинга и обменов может измениться.

Вопрос 7.9.1

7.9. Специализация: что можно и чего нельзя заключать из маршрутов

Как надёжнее перейти от routing frequency к утверждению о специализации эксперта?

Один правильный вариантAНазвать эксперта по десяти токенам с максимальной частотой маршрутизацииBВыбрать домен с наибольшей частотой и считать его функцией экспертаCПровести intervention или ablation и измерить функциональное изменение

A) Назвать эксперта по десяти токенам с максимальной частотой маршрутизации

B) Выбрать домен с наибольшей частотой и считать его функцией эксперта

C) Провести intervention или ablation и измерить функциональное изменение

Ответ и разбор

Правильный ответ: C. Частота маршрутизации показывает корреляцию, но не функцию. Causal intervention или ablation проверяет, меняется ли интересующая способность при воздействии на эксперта.

Вопрос 7.10.1

7.10. Инференс MoE: память, all-to-all и эксперты, затронутые пакетом

При E=128, k=4 и N=16 какова ожидаемая доля затронутых экспертов в независимой равномерной модели?

Один правильный вариантAОколо 39.83% по формуле 1-(1-4/128)^16BРовно 3.125%, потому что один токен выбирает 4 из 128CОколо 86.89%, как в том же сценарии при N=64

A) Около 39.83% по формуле 1-(1-4/128)^16

B) Ровно 3.125%, потому что один токен выбирает 4 из 128

C) Около 86.89%, как в том же сценарии при N=64

Ответ и разбор

Правильный ответ: A. Формула даёт 0.3982897, или около 39.83%. Она предполагает независимую равномерную маршрутизацию и не является предсказанием обученного router.

Вопрос 7.10.2

7.10. Инференс MoE: память, all-to-all и эксперты, затронутые пакетом

Что означает 2Thkb в оценке Expert Parallelism?

Один правильный вариантAЛогический объём отправки и возврата для всех назначений.BТочный объём трафика каждого GPU при любом размещении.CОбязательная нижняя граница сетевого трафика.

A) Логический объём отправки и возврата для всех назначений.

B) Точный объём трафика каждого GPU при любом размещении.

C) Обязательная нижняя граница сетевого трафика.

Ответ и разбор

Правильный ответ: A. Локальные назначения могут не пересылаться, агрегирование уменьшает сообщения, а padding и протокол добавляют байты.

Вопрос 7.11.1

7.11. LatentMoE и адаптивная маршрутизация

В чём основная идея LatentMoE?

Один правильный вариантAЗаменить дискретный expert bank непрерывной смесью базисных матрицBСохранить дискретный top-k, но выполнять dispatch и expert compute в более узком пространствеCМаршрутизировать только attention heads и полностью удалить экспертов FFN

A) Заменить дискретный expert bank непрерывной смесью базисных матриц

B) Сохранить дискретный top-k, но выполнять dispatch и expert compute в более узком пространстве

C) Маршрутизировать только attention heads и полностью удалить экспертов FFN

Ответ и разбор

Правильный ответ: B. LatentMoE сохраняет дискретных экспертов и top-k. Более узкое маршрутизируемое представление уменьшает объём коммуникации и expert-compute, после чего результат проецируется обратно.

Вопрос 7.12.1

7.12. Код первого уровня: прозрачный MoE с явными политиками

После capacity overflow одно назначение токена отброшено. Что происходит с оставшимся весом смеси?

Один правильный вариантAВо всех системах MoE он обязан остаться численно неизменнымBВо всех реализациях токен обязан быть перенаправлен новому экспертуCЭто задаёт политика runtime; notebook перенормирует выжившие веса

A) Во всех системах MoE он обязан остаться численно неизменным

B) Во всех реализациях токен обязан быть перенаправлен новому эксперту

C) Это задаёт политика runtime; notebook перенормирует выжившие веса

Ответ и разбор

Правильный ответ: C. Dropping и rerouting реализуются по-разному. В учебной политике курса выжившие веса перенормируются, но это не универсальный контракт MoE.

Вопрос 7.14.1

7.14. Чтение открытого кода gpt-oss

Чем router gpt-oss отличается от рассмотренного контракта, подобного DeepSeek-V3?

Один правильный вариантAgpt-oss выбирает top-k logits и применяет softmax; DeepSeek использует sigmoid и selection biasBgpt-oss использует sigmoid и bias, а DeepSeek — softmax по выбранным logitsCgpt-oss не обучает router, а DeepSeek не использует дискретный top-k

A) gpt-oss выбирает top-k logits и применяет softmax; DeepSeek использует sigmoid и selection bias

B) gpt-oss использует sigmoid и bias, а DeepSeek — softmax по выбранным logits

C) gpt-oss не обучает router, а DeepSeek не использует дискретный top-k

Ответ и разбор

Правильный ответ: A. Открытый gpt-oss router выбирает top-k по logits и нормирует выбранные logits softmax. В рассмотренном контракте, подобном DeepSeek, выбор строится по sigmoid score плюс bias, а веса — по чистым score.

Вопрос 7.15.1

7.15. Современный ландшафт как паспорт свидетельств

Как правильно читать строку «Kimi K3: 2.8T / 104B»?

Один правильный вариантAКак доказательство ускорения ровно в 26.9 раза на любом оборудованииBКак паспорт total/active, требующий expert contract и конвенцию подсчётаCКак размеры vision encoder и language decoder мультимодальной модели

A) Как доказательство ускорения ровно в 26.9 раза на любом оборудовании

B) Как паспорт total/active, требующий expert contract и конвенцию подсчёта

C) Как размеры vision encoder и language decoder мультимодальной модели

Ответ и разбор

Правильный ответ: B. Пара total/active задаёт только начало паспорта. Для вычислительной интерпретации нужны top-k, shared/routed contract, attention, дополнительные модули и правило подсчёта.

Вопрос 7.15.2

7.15. Современный ландшафт как паспорт свидетельств

В конфигурации Qwen3.5 есть MTP. Включать ли его веса в active каждого обычного шага декодирования?

Один правильный вариантAДа, наличие поля означает обязательное исполнение.BТолько если рассматриваемый путь исполнения использует MTP.CНет, MTP никогда не используется при инференсе.

A) Да, наличие поля означает обязательное исполнение.

B) Только если рассматриваемый путь исполнения использует MTP.

C) Нет, MTP никогда не используется при инференсе.

Ответ и разбор

Правильный ответ: B. Конфигурация описывает доступные компоненты, а active — конкретный путь вычисления.

Вопрос 7.16.1

7.16. Мультимодальность: общий роутер — один из вариантов, а не правило

Что может измениться при добавлении визуальных токенов в общий MoE-router при неизменном top-k?

Один правильный вариантAExpert compute каждого отдельного токена обязательно удвоитсяBВсе эксперты автоматически станут модально-специфичнымиCUnion экспертов и коммуникационный профиль всего батча могут расшириться

A) Expert compute каждого отдельного токена обязательно удвоится

B) Все эксперты автоматически станут модально-специфичными

C) Union экспертов и коммуникационный профиль всего батча могут расшириться

Ответ и разбор

Правильный ответ: C. При неизменном top-k expert-compute одного токена не обязан расти. Но более разнообразный батч может затронуть больше разных экспертов и изменить all-to-all нагрузку.