Модуль 7. Mixture of Experts

Решение. Общее число параметров равно 116 829 156 672. Разница:

Активный размер по правилу курса — 5 132 849 472.

Общий размер получается суммой всех строк паспорта: обе словарные матрицы, attention со смещениями, весь банк экспертов, роутеры, нормы и attention sinks. В базовом числе сохранены нормы и параметры attention sinks, но исключены смещения линейных слоёв. Поэтому разность относится именно к смещениям, а не ко всем скалярным параметрам. Для активного подсчёта берётся общий путь токена и только четыре выбранных эксперта на MoE-слой; конвенция включает полную выходную проекцию, но не считает всю входную матрицу эмбеддингов как матричное умножение одного токена. Без этой оговорки число 5.133B нельзя воспроизвести однозначно.

Решение. Из конфигурации читаем $h=2048$, 40 слоёв, 256 выбираемых и 1 общий эксперт, top-8, ширину эксперта 512 и один слой MTP. Выражение $(k/E)\cdot35\text{B}$ ошибочно применяет долю $8/256$ ко всей модели. Ею можно масштабировать только банк выбираемых экспертов. Attention/DeltaNet, выходная проекция, роутер, нормы и общий эксперт не умножаются на $k/E$. MTP учитывается отдельно, только если выбранный путь действительно запускает этот модуль; входные эмбеддинги учитываются по объявленному правилу. Корректная схема имеет вид

$P_{active}=P_{shared\ path}+P_{shared\ expert}+\frac{k}{E}P_{routed\ bank},$

с дополнительной оговоркой о том, какие словарные матрицы входят в выбранный подсчёт.

Решение. После одного шага:

поэтому эксперт 0 ещё выше. После двух:

и порядок меняется. Это пример пересечения границы выбора при двух равных встречных приращениях. Он не воспроизводит всю симуляцию балансировки.

В общем виде после $t$ шагов оценки со смещениями равны $s_0(t)=0.768525-0.01875t$ и $s_6(t)=0.710950+0.01875t$. Равенство достигается при $t=(0.768525-0.710950)/(2\cdot0.01875)=1.5353$, поэтому первый целый шаг после пересечения — второй.

Решение.

Один конкретный эксперт не выбирается данным токеном с вероятностью $1-k/E$. При независимой маршрутизации $N$ токенов вероятность ни одного попадания равна $(1-k/E)^N$, а ожидаемая затронутая доля — дополнение до единицы:

Реальный результат может отличаться из-за корреляции и неравномерности выбора.

Решение. Односторонняя отправка всех назначений передаёт $T\cdot k\cdot d\cdot b$ байт. В исходной размерности это

$2048\cdot16\cdot7168\cdot2=469\,762\,048\ \text{B}=448\ \text{MiB},$

а в сжатой размерности — 224 MiB. Поэтому уменьшение равно $7168/3584=\mathbf{2\times}$. Если отдельно считать возврат результатов, обе оценки удваиваются до 896 и 448 MiB, а отношение остаётся тем же. Здесь посчитаны логические данные назначений. Проекторы требуют дополнительных вычислений; локальность, объединение отправок, метаданные и сетевой протокол меняют фактический трафик.

Демо к этому проектному упражнению: русскоязычный проектный ноутбук модуля 7, разделы «Демо 1» и «Демо 2» как отправная точка для проектной работы модуля. Он показывает компактный воспроизводимый пример на малых данных, а не готовое решение полномасштабного проекта.