Современные LLM4 / 20

Модуль 4. Позиционные представления: от синусоид к нескольким осям

Выберите ответы и нажмите «Проверить». Для чисел подходят точка, запятая и простые дроби. Ответы и черновики сохраняются в этом браузере и общие для RU/EN.

Проверено: 0 / 23 · Верно: 0

Вопрос 4.1.1

4.1. Мотивация: от содержания к порядку

Что означает перестановочная эквивариантность двунаправленного self-attention без позиции и маски?

Один правильный вариантAПерестановка входных позиций вызывает такую же перестановку выходовBЛюбая перестановка оставляет выходной тензор полностью неизменнымCПорядок восстанавливается из значений softmax даже без маски

A) Перестановка входных позиций вызывает такую же перестановку выходов

B) Любая перестановка оставляет выходной тензор полностью неизменным

C) Порядок восстанавливается из значений softmax даже без маски

Ответ и разбор

Правильный ответ: A. Эквивариантность означает согласованное преобразование выхода вместе со входом. Это не функция, инвариантная к перестановке. Причинная маска добавляет асимметрию доступа, но сама не задаёт богатую метрику расстояния.

Вопрос 4.3.1

4.3. Мостик к классике: Фурье, комплексные числа и относительная фаза

Что точно верно для одной sin/cos-пары классического позиционного кодирования?

Один правильный вариантAЕё скалярное произведение зависит от суммы абсолютных позицийBСкалярное произведение равно cos((m−n)θ) при одной фиксированной частоте θCОтносительная зависимость возникает только после обучения проекций

A) Её скалярное произведение зависит от суммы абсолютных позиций

B) Скалярное произведение равно cos((m−n)θ) при одной фиксированной частоте θ

C) Относительная зависимость возникает только после обучения проекций

Ответ и разбор

Правильный ответ: B. Тождество sin(mθ)sin(nθ)+cos(mθ)cos(nθ)=cos((m−n)θ) является точным. Отличие RoPE состоит в том, что относительная фаза входит непосредственно в произведение уже спроецированных query и key.

Вопрос 4.4.1

4.4. Формализм: от синусоид к вращению запроса и ключа

Где применяется RoPE в рассматриваемом блоке внимания?

Один правильный вариантARoPE вращает только скалярные признаки после нормализацииBAttention вычисляет Q и K без каких-либо линейных проекцийCСначала строятся Q и K, затем их координатные пары поворачиваются

A) RoPE вращает только скалярные признаки после нормализации

B) Attention вычисляет Q и K без каких-либо линейных проекций

C) Сначала строятся Q и K, затем их координатные пары поворачиваются

Ответ и разбор

Правильный ответ: C. Произвольная матрица W в общем случае не удовлетворяет WR=RW. Интеграция RoPE проста потому, что вращение применяется после Q/K-проекций и сохраняет форму тензора.

Вопрос 4.4.2

4.4. Формализм: от синусоид к вращению запроса и ключа

При частичной RoPE вращается D координат головы ширины d_k. Какой размер входит в частоты?

Один правильный вариантAВсегда ширина всей модели d_modelBВращаемая ширина DCДлина последовательности T

A) Всегда ширина всей модели d_model

B) Вращаемая ширина D

C) Длина последовательности T

Ответ и разбор

Правильный ответ: B. Спектр строится для вращаемых пар D/2. Стандартный масштаб логита при этом остаётся 1/√d_k.

Вопрос 4.5.1

4.5. Решённый пример: один и тот же относительный сдвиг

Почему при фиксированных q, k и частотах общий сдвиг позиций не меняет RoPE-логит?

Один правильный вариантAОбщий угол сокращается, и остаётся только относительная фазаBПозиции предварительно нормируются на длину контекстаCМасштабирование на √d отменяет абсолютные координаты

A) Общий угол сокращается, и остаётся только относительная фаза

B) Позиции предварительно нормируются на длину контекста

C) Масштабирование на √d отменяет абсолютные координаты

Ответ и разбор

Правильный ответ: A. R_{m+c}^T R_{n+c}=R_{n−m}. Поэтому при фиксированных q и k логит зависит от разности позиций, а не от общего начала координат.

Вопрос 4.5.2

4.5. Решённый пример: один и тот же относительный сдвиг

Произведение повёрнутых q и k равно 1.144248 при d_k=4. Чему равен стандартный логит до маски?

Один правильный вариантA1.144248B0.286062C0.572124

A) 1.144248

B) 0.286062

C) 0.572124

Ответ и разбор

Правильный ответ: C. Стандартное attention делит скалярное произведение на √4=2, а не на 4.

Вопрос 4.6.1

4.6. Спектр частот: что действительно выбирает rope_theta

Что в первую очередь делает увеличение rope_theta?

Один правильный вариантAУбирает самые быстрые частоты и тем самым стирает локальный порядокBСильнее замедляет высокоиндексные пары и добавляет длинные волныCАвтоматически увеличивает максимальную длину, гарантированную моделью

A) Убирает самые быстрые частоты и тем самым стирает локальный порядок

B) Сильнее замедляет высокоиндексные пары и добавляет длинные волны

C) Автоматически увеличивает максимальную длину, гарантированную моделью

Ответ и разбор

Правильный ответ: B. Самая быстрая пара θ₀=1 остаётся неизменной. Большая база перераспределяет спектр в сторону более медленных высокоиндексных координат, но не гарантирует качество на новой длине.

Вопрос 4.6.2

4.6. Спектр частот: что действительно выбирает rope_theta

Почему максимальная длина волны одной RoPE-пары не является жёстким пределом контекста?

Один правильный вариантAВсе координатные пары имеют один общий период полного вектораBПричинная маска устраняет периодичность всех вращаемых компонентCПолный код сочетает много частот: повтор одной пары не повторяет весь вектор

A) Все координатные пары имеют один общий период полного вектора

B) Причинная маска устраняет периодичность всех вращаемых компонент

C) Полный код сочетает много частот: повтор одной пары не повторяет весь вектор

Ответ и разбор

Правильный ответ: C. Каждая пара периодична, но полный код многомерный. Длины волн и число оборотов полезны как диагностика спектра, а не как физическая граница различимости всех позиций.

Вопрос 4.7.1

4.7. Расширение контекста: PI, NTK-aware scaling, YaRN и другие ветви

Почему Position Interpolation обычно сопровождают дообучением?

Один правильный вариантAОна сжимает фазы всех пар и меняет привычную локальную геометриюBОна добавляет новую таблицу обучаемых векторов для каждой позицииCОна работает только в двунаправленных энкодерах с полной маской

A) Она сжимает фазы всех пар и меняет привычную локальную геометрию

B) Она добавляет новую таблицу обучаемых векторов для каждой позиции

C) Она работает только в двунаправленных энкодерах с полной маской

Ответ и разбор

Правильный ответ: A. PI отображает m→m/s и тем самым замедляет весь спектр. Новые позиции остаются в прежнем диапазоне углов, но локальная геометрия тоже меняется.

Вопрос 4.7.2

4.7. Расширение контекста: PI, NTK-aware scaling, YaRN и другие ветви

Как наиболее точно описать static NTK-aware scaling?

Один правильный вариантAЭто теорема, гарантирующая безопасную экстраполяцию без дообученияBЭто эвристика, неравномерно меняющая спектр через новую baseCЭто разновидность ALiBi, где наклон обучается для каждой головы

A) Это теорема, гарантирующая безопасную экстраполяцию без дообучения

B) Это эвристика, неравномерно меняющая спектр через новую base

C) Это разновидность ALiBi, где наклон обучается для каждой головы

Ответ и разбор

Правильный ответ: B. Формула base·s^(D/(D−2)) мотивирована сохранением структуры спектра, но её качество зависит от модели и длины и проверяется экспериментально.

Вопрос 4.7.3

4.7. Расширение контекста: PI, NTK-aware scaling, YaRN и другие ветви

На всей голове один множитель a≈1.3466 входит в Q и K. Как он изменяет скалярное произведение?

Один правильный вариантAЛюбой движок обязан умножать итоговые логиты ровно на 1.3466BКаждая обратная частота дополнительно делится на коэффициент 1.3466CЕсли factor входит в q и k, их скалярное произведение получает около 1.8133

A) Любой движок обязан умножать итоговые логиты ровно на 1.3466

B) Каждая обратная частота дополнительно делится на коэффициент 1.3466

C) Если factor входит в q и k, их скалярное произведение получает около 1.8133

Ответ и разбор

Правильный ответ: C. Билинейность даёт (aq)ᵀ(ak)=a²qᵀk; a²≈1.8133. При частичной RoPE это правило для всего логита требует отдельной проверки: не все координаты обязательно масштабируются.

Вопрос 4.7.4

4.7. Расширение контекста: PI, NTK-aware scaling, YaRN и другие ветви

Что точно сохраняет статическая NTK-aware формула при s≥1 и D>2?

Один правильный вариантAПервую частоту; последнюю делит на sBВсе частоты без измененияCКачество модели на любой длине

A) Первую частоту; последнюю делит на s

B) Все частоты без изменения

C) Качество модели на любой длине

Ответ и разбор

Правильный ответ: A. Отношение частот равно s^(−2i/(D−2)). На i=0 оно равно 1; на i=D/2−1 равно 1/s.

Вопрос 4.8.1

4.8. ALiBi: линейное позиционное смещение

Что делает ALiBi?

Один правильный вариантAДобавляет к логиту головы линейный штраф за относительное расстояниеBПоворачивает запрос и ключ на общий угол относительной позицииCОбучает отдельную таблицу абсолютных позиций для каждой головы

A) Добавляет к логиту головы линейный штраф за относительное расстояние

B) Поворачивает запрос и ключ на общий угол относительной позиции

C) Обучает отдельную таблицу абсолютных позиций для каждой головы

Ответ и разбор

Правильный ответ: A. ALiBi оставляет Q/K неизменными и добавляет позиционное смещение. Экспоненциальное априорное предпочтение после softmax возникает при фиксированной содержательной части, но полное внимание зависит и от qᵀk.

Вопрос 4.8.2

4.8. ALiBi: линейное позиционное смещение

Почему в каузальном внимании одного конечного штрафа ALiBi недостаточно?

Один правильный вариантAALiBi делает все значения V отрицательнымиBБудущие ключи нужно запретить маской, а не только понизить их логитыCALiBi требует обучаемой таблицы абсолютных позиций

A) ALiBi делает все значения V отрицательными

B) Будущие ключи нужно запретить маской, а не только понизить их логиты

C) ALiBi требует обучаемой таблицы абсолютных позиций

Ответ и разбор

Правильный ответ: B. Конечный логит после softmax обычно получает ненулевой вес. Недоступным будущим позициям нужна маска.

Вопрос 4.9.1

4.9. NoPE: позиция без явного позиционного кодирования

Какое утверждение о NoPE корректно?

Один правильный вариантANoPE всегда означает строгое чередование слоёв с RoPE и без RoPEBЕсть чистые NoPE-модели и гибриды с явной позицией лишь в части слоёвCNoPE применяется только в энкодерах, не использующих причинную маску

A) NoPE всегда означает строгое чередование слоёв с RoPE и без RoPE

B) Есть чистые NoPE-модели и гибриды с явной позицией лишь в части слоёв

C) NoPE применяется только в энкодерах, не использующих причинную маску

Ответ и разбор

Правильный ответ: B. NoPE означает отсутствие явного позиционного механизма в соответствующем слое или модели. Чередование RoPE/NoPE — конкретный гибридный дизайн, а не определение термина.

Вопрос 4.10.1

4.10. Разбор конфигурации: что говорит gpt-oss и чего она не говорит

Что надёжно следует из initial_context_length=4096 в конфигурации gpt-oss?

Один правильный вариантAВсё предварительное обучение модели проходило только на последовательностях длины 4096BМодель обязательно прошла одну конкретную фазу YaRN-дообученияC4096 — опорная длина опубликованной схемы позиционного масштабирования

A) Всё предварительное обучение модели проходило только на последовательностях длины 4096

B) Модель обязательно прошла одну конкретную фазу YaRN-дообучения

C) 4096 — опорная длина опубликованной схемы позиционного масштабирования

Ответ и разбор

Правильный ответ: C. Конфигурация задаёт геометрию масштабирования. Полный календарь обучения требует отдельного технического отчёта и не восстанавливается из одного поля.

Вопрос 4.11.1

4.11. Код первого уровня: формы, позиции и масштабирование

Что должен сделать учебный код при NaN в векторе частот?

Один правильный вариантAМолча заменить NaN нулёмBПродолжить вычисление и скрыть NaN в softmaxCОтклонить некорректный вход с явной ошибкой

A) Молча заменить NaN нулём

B) Продолжить вычисление и скрыть NaN в softmax

C) Отклонить некорректный вход с явной ошибкой

Ответ и разбор

Правильный ответ: C. Проверки формы и положительности недостаточно: сравнение NaN≤0 ложно. Нужна отдельная проверка конечности.

Вопрос 4.12.1

4.12. Второй уровень: что проверяет ноутбук

Префикс содержит p токенов с позициями 0…p−1. Какую позицию получает следующий запрос при работе с кэшем?

Один правильный вариантApB0, потому что сейчас обрабатывается один токенCВсегда p−1

A) p

B) 0, потому что сейчас обрабатывается один токен

C) Всегда p−1

Ответ и разбор

Правильный ответ: A. Размер текущего блока не сбрасывает абсолютную позицию. Сохранённые ключи уже повернуты на собственные позиции.

Вопрос 4.12.2

4.12. Второй уровень: что проверяет ноутбук

Почему целочисленные position_ids ещё не гарантируют точную фазу?

Один правильный вариантAСинус принимает только отрицательные индексыBПри переводе в рабочий вещественный тип и умножении на частоты возникает округлениеCКаждая целая позиция требует отдельного обучаемого параметра

A) Синус принимает только отрицательные индексы

B) При переводе в рабочий вещественный тип и умножении на частоты возникает округление

C) Каждая целая позиция требует отдельного обучаемого параметра

Ответ и разбор

Правильный ответ: B. Например, FP16 смешивает 2048 и 2049. FP32 отодвигает такую границу, но не даёт произвольной точности.

Вопрос 4.13.1

4.13. Мультимодальная позиция: M-RoPE и TMRoPE

Какие идентификаторы позиций использует M-RoPE для обычных текстовых токенов?

Один правильный вариантA(m,0,0): вращается только временная секция вращаемых координатB(m,m,m): текстовый путь совпадает с обычной одномерной RoPEC(0,h,w): используются те же координаты, что у изображения

A) (m,0,0): вращается только временная секция вращаемых координат

B) (m,m,m): текстовый путь совпадает с обычной одномерной RoPE

C) (0,h,w): используются те же координаты, что у изображения

Ответ и разбор

Правильный ответ: B. Три оси текста получают одинаковый индекс. Поэтому каждая вращаемая пара видит позицию m независимо от назначенной секции.

Вопрос 4.13.2

4.13. Мультимодальная позиция: M-RoPE и TMRoPE

Какое утверждение о TMRoPE подтверждено опубликованным техническим отчётом?

Один правильный вариантAОна по определению запрещает использовать пространственные координатыBВо всех моделях она задаёт один временной ID ровно на каждые 40 мсCОна описана в Qwen2.5-Omni; 40 мс — параметр именно этой реализации

A) Она по определению запрещает использовать пространственные координаты

B) Во всех моделях она задаёт один временной ID ровно на каждые 40 мс

C) Она описана в Qwen2.5-Omni; 40 мс — параметр именно этой реализации

Ответ и разбор

Правильный ответ: C. TMRoPE опубликована в отчёте Qwen2.5-Omni от марта 2025 года. Её общий принцип — выравнивание по времени, а конкретная величина одного временного ID зависит от архитектуры.

Вопрос 4.13.3

4.13. Мультимодальная позиция: M-RoPE и TMRoPE

Что чередует Interleaved-MRoPE в Qwen3-VL?

Один правильный вариантAОбучающие и проверочные документыBСлои с softmax и без softmaxCНазначение временной и пространственных осей частотным парам

A) Обучающие и проверочные документы

B) Слои с softmax и без softmax

C) Назначение временной и пространственных осей частотным парам

Ответ и разбор

Правильный ответ: C. Это распределение осей по спектру. Его нельзя смешивать со спариванием двух координат одной пары: adjacent или split-half.

Вопрос 4.14.1

4.14. Современный ландшафт: методы сосуществуют

Как точнее описать позиционную архитектуру Llama 4?

Один правильный вариантAГибрид RoPE/NoPE с блочным вниманием и настройкой температурыBОбычная RoPE с обязательной YaRN-растяжкой в каждом слоеCЧистый ALiBi с линейным позиционным смещением и без вращаемых компонент

A) Гибрид RoPE/NoPE с блочным вниманием и настройкой температуры

B) Обычная RoPE с обязательной YaRN-растяжкой в каждом слое

C) Чистый ALiBi с линейным позиционным смещением и без вращаемых компонент

Ответ и разбор

Правильный ответ: A. В опубликованной реализации есть NoPE-слои, RoPE в остальных слоях и блочное внимание. Настройка температуры применяется к NoPE-слоям. Одно поле rope_theta не определяет всю схему.