Модуль 8. Альтернативы Transformer: SSM, Mamba и гибриды

Решение.

Для скалярной системы $\dot h=ah+Bx$ точная ZOH-дискретизация даёт входной коэффициент $(e^{a\Delta}-1)B/a$. При $a=-1$ и $B=1$ это $1-e^{-\Delta}$; малошаговое приближение заменяет его на $\Delta$. Поэтому относительная ошибка относительно точного коэффициента равна

Получаем

Подстановка даёт $\Delta/(1-e^{-\Delta})\approx1.1$. Для малых шагов ошибка начинается как $\Delta/2$, поэтому оценка около 0.2 также служит полезной проверкой порядка величины.

Решение. Состояние SSM одного слоя содержит $d_{inner}d_{state}$ bf16-элементов:

$8192\cdot16\cdot2=262144\ \text{B}=0.25\ \text{MiB}.$

Для 32 слоёв это 8 MiB. Состояние свёртки хранит $d_{inner}d_{conv}$ элементов: $8192\cdot4\cdot2=65536$ B на слой, или 2 MiB на модель. Полный рекуррентный кэш равен 10 MiB и не растёт с длиной последовательности. KV-cache сравняется с ним при $10\text{ MiB}/128\text{ KiB}=\mathbf{80}$ токенах; после этого KV больше.

Решение. SSM-компонент равен

$32\cdot8192\cdot128\cdot2=64\ \text{MiB}.$

Число каналов свёртки — $8192+2\cdot128=8448$, поэтому состояние свёртки занимает $32\cdot8448\cdot4\cdot2=2.0625$ MiB. Итого 66.0625 MiB. Деление на 0.125 MiB KV на токен даёт 528.5: при 528 токенах KV ещё меньше, а первый целый токен, где он строго больше рекуррентного кэша, — 529.

Демо к этому проектному упражнению: русскоязычный демо-ноутбук модуля 8, раздел «Демо 1». Он показывает компактный воспроизводимый пример на малых данных, а не готовое решение полномасштабного проекта.

Демо к этому проектному упражнению: русскоязычный демо-ноутбук модуля 8, раздел «Демо 2». Он показывает компактный воспроизводимый пример на малых данных, а не готовое решение полномасштабного проекта.