Модуль 6. Нормализация, активации и анатомия блока

Решение. В GQA attention матрицы $Q$ и $O$ имеют размер $d\times d$, а ширина K/V в четыре раза меньше: две K/V-матрицы дают $2d(d/4)=0.5d^2$. Поэтому

$P_{\text{attn}}=2d^2+0.5d^2=2.5d^2.$

SwiGLU содержит проекции gate, up и down. При $d_{ff}=3.5d$ это $3dd_{ff}=10.5d^2$. Итого матричная часть равна

$P_{\text{matrix}}=(2.5+10.5)d^2=13\cdot4096^2=218{,}103{,}808.$

Две RMSNorm добавляют по одному обучаемому масштабу на канал, то есть $2d=8192$. Полный блок содержит 218 112 000 параметров. Смещений в рассматриваемой архитектуре нет.

Решение. RMSNorm делит на $\sqrt{\operatorname{RMS}(x)^2+\epsilon}$. При RMS $10^{-3}$ квадрат сигнала равен $10^{-6}$. Поэтому

$g_{10^{-6}}=\frac1{\sqrt{10^{-6}+10^{-6}}}\approx707.1,$ $g_{10^{-5}}=\frac1{\sqrt{10^{-6}+10^{-5}}}\approx301.5.$

Увеличение $\epsilon$ здесь более чем вдвое уменьшает усиление малого сигнала: стабилизатор уже сравним с его энергией и даже доминирует над ней. Поэтому выбирать $\epsilon$ нужно по точности редукции и рабочим масштабам активаций, а не только по машинной точности формата.

Решение. Используем $g=\min(z,7)$, $u=\operatorname{clip}(z,-7,7)$ и

$y=g\,\sigma(1.702g)(u+1).$

Для $z=-9$ gate не ограничивается снизу и почти подавляется сигмоидой, но up всё равно заменяется на $-7$ и входит как $(u+1)=-6$; малость результата не означает, что ограничение не сработало. При $z=7$ и $9$ обе используемые ветви уже одинаковы, поэтому совпадают и выходы.

Демо к этому проектному упражнению: русскоязычный проектный ноутбук модуля 6, раздел «Демо 1». Он показывает компактный воспроизводимый пример на малых данных, а не готовое решение полномасштабного проекта.

Демо к этому проектному упражнению: русскоязычный проектный ноутбук модуля 6, раздел «Демо 2». Он показывает компактный воспроизводимый пример на малых данных, а не готовое решение полномасштабного проекта.

Решение. Для положительного множителя $c$ вынесем его из знаменателя:

При фиксированном $\epsilon>0$ это другая нормировка. Например, при одном значении $x=10^{-3}$, $\epsilon=10^{-6}$ и единичном обучаемом масштабе получаем $1/\sqrt2\approx0.7071$. Для $2x$ результат равен $2/\sqrt5\approx0.8944$. Отличие заметно, потому что стабилизатор сравним с квадратом сигнала.

Если RMS считается по всем головам сразу, увеличение одной головы повышает общий знаменатель и меняет даже неизменённые головы. При отдельной нормировке каждой головы их знаменатели независимы. Ноутбук воспроизводит обе оси редукции; сначала предскажите, какие головы должны измениться.

Решение. В матрице из §12 каждая строка и каждый столбец имеют сумму $0.75+0.25=1$. Умножение даёт $0.75\cdot2+0.25\cdot6=3$ в первой строке и $0.25\cdot2+0.75\cdot6=5$ во второй. Поэтому $AX=(3,5)^\top\ne X$.

Неотрицательность и единичная сумма строки делают каждый выход выпуклой комбинацией входов: он остаётся между 2 и 6. Сам диапазон может сузиться — здесь он стал от 3 до 5. Единичные суммы столбцов дополнительно сохраняют сумму по потокам: $3+5=2+6$. Ни одно из этих свойств не требует сохранять каждый поток отдельно. Для матрицы после конечного числа итераций Sinkhorn–Knopp сначала проверяют обе невязки сумм: тогда понятно, насколько точно применимы эти выводы.