Модуль 4. Позиционные представления: от синусоид к нескольким осям

Решение.

Здесь использованы два свойства двумерных поворотов: $R_a^T=R_{-a}$ и $R_aR_b=R_{a+b}$. Поэтому $R_{m+c}^TR_{n+c}=R_{-(m+c)}R_{n+c}=R_{n-m}$: общий сдвиг $c$ сокращается, и при фиксированных q, k позиционная зависимость остаётся только через смещение $n-m$.

Решение. Для пары с индексом $i=0,\ldots,D/2-1$ частота равна $\theta_i=\text{base}^{-2i/D}$. Она совершила хотя бы один оборот, если $L\theta_i\ge2\pi$, то есть

При $D=64$ и $L=4096$ правые части равны примерно 22.52, 17.40 и 15.80. Считая целые индексы от нуля, получаем 23, 18 и 16 пар. Это покрытие фаз в заданном окне, а не жёсткое число «различимых координат».

Решение. Подстановка параметров в формулы границ рампы исходной gpt-oss-реализации даёт low≈8.0928, high≈17.3980. Поэтому пары $i=0,\ldots,8$ сохраняют исходные частоты (9 пар), $i=9,\ldots,17$ лежат в переходе (9), а $i=18,\ldots,31$ полностью интерполированы (14). При truncate=True границы записываются как 8/18, но целочисленное разбиение остаётся тем же.

Множитель равен

$a=1+0.1\ln 32=1.346574.$

Если им масштабируются и $q$, и $k$, то скалярное произведение получает два множителя: $(aq)^T(ak)=a^2q^Tk$, поэтому коэффициент логита равен $a^2=1.813260$, а не $a$.

Решение. M-RoPE распределяет вращаемые пары между координатами, например время, высота и ширина. У текстового токена они равны $(m,m,m)$, поэтому любая пара с частотой $\theta_i$, независимо от назначенной оси, поворачивается на угол $m\theta_i$. Конкатенация всех таких пар в точности совпадает с обычной 1D-RoPE. Различие появляется только для мультимодального токена, у которого координаты осей не совпадают.

Демо к этому проектному упражнению: русскоязычный demo-notebook модуля 4, разделы «Демо 1» и «Демо 2» как отправная точка для проектной работы модуля. Он показывает компактный воспроизводимый пример на малых данных, а не готовое решение полномасштабного проекта.