Современные LLM6 / 20

Модуль 6. Нормализация, активации и анатомия блока

Выберите ответы и нажмите «Проверить». Для чисел подходят точка, запятая и простые дроби. Ответы и черновики сохраняются в этом браузере и общие для RU/EN.

Проверено: 0 / 22 · Верно: 0

Вопрос 6.4.1

6.4. Остаточный поток: два последовательных приращения

Что гарантирует тождественный путь в Pre-LN-блоке с остаточными связями?

Один правильный вариантAВ якобиане есть единичное слагаемое, которое не гарантирует ненулевой итоговый градиентBЛюбой обученный подслой можно удалить почти без потери качества, поскольку остаточный путь полностью обходит его вычислениеCRMS остаточного потока автоматически остаётся равным единице на любой глубине независимо от весов и выходов подслоя

A) В якобиане есть единичное слагаемое, которое не гарантирует ненулевой итоговый градиент

B) Любой обученный подслой можно удалить почти без потери качества, поскольку остаточный путь полностью обходит его вычисление

C) RMS остаточного потока автоматически остаётся равным единице на любой глубине независимо от весов и выходов подслоя

Ответ и разбор

Правильный ответ: A. Для h+G(h) якобиан равен I+J_G. Если G(h)=−h, слагаемые сокращаются. Наличие обходного пути также не доказывает, что обученную ветвь можно удалить без потери качества.

Вопрос 6.5.1

6.5. LayerNorm и RMSNorm: две операции над одним вектором

Чем RMSNorm отличается от LayerNorm в базовой формуле?

Один правильный вариантARMSNorm использует статистику всего мини-пакета вместо одного токенаBRMSNorm вычитает среднее, но не делит на масштабCRMSNorm не центрирует вектор и нормирует его по среднему квадрату

A) RMSNorm использует статистику всего мини-пакета вместо одного токена

B) RMSNorm вычитает среднее, но не делит на масштаб

C) RMSNorm не центрирует вектор и нормирует его по среднему квадрату

Ответ и разбор

Правильный ответ: C. LayerNorm вычитает среднее и делит на стандартное отклонение. RMSNorm не вычитает среднее: до применения обучаемого покоординатного масштаба она делит все координаты на общий корень из среднего квадрата.

Вопрос 6.5.2

6.5. LayerNorm и RMSNorm: две операции над одним вектором

При rms = 10⁻³ во сколько раз множитель RMSNorm с eps=10⁻⁶ больше, чем с eps=10⁻⁵?

Один правильный вариантAПримерно в 1.41 разаBПримерно в 2.35 разаCРовно в 10 раз

A) Примерно в 1.41 раза

B) Примерно в 2.35 раза

C) Ровно в 10 раз

Ответ и разбор

Правильный ответ: B. Множители равны 1/√(10⁻⁶+10⁻⁶)≈707 и 1/√(10⁻⁶+10⁻⁵)≈302; отношение около 2.35. Выбор eps зависит также от масштаба активаций и точности редукции, а не только от машинного эпсилон рабочего формата.

Вопрос 6.5.3

6.5. LayerNorm и RMSNorm: две операции над одним вектором

Когда RMSNorm при фиксированном ε>0 почти не меняется при положительном масштабировании входа?

Один правильный вариантAКогда средний квадрат намного больше ε и у исходного, и у масштабированного входаBДля любого ненулевого вектора, независимо от εCТолько при нулевом среднем входа

A) Когда средний квадрат намного больше ε и у исходного, и у масштабированного входа

B) Для любого ненулевого вектора, независимо от ε

C) Только при нулевом среднем входа

Ответ и разбор

Правильный ответ: A. Условия mean(x²)≫ε и c²mean(x²)≫ε нужны одновременно. После масштабирования знаменатель эквивалентен исходному с ε/c²; очень малый c может сделать стабилизатор существенным.

Вопрос 6.5.4

6.5. LayerNorm и RMSNorm: две операции над одним вектором

Как безопасно вычислять статистику RMSNorm для больших значений FP16?

Один правильный вариантAПовысить точность входа до FP32 перед возведением в квадратBСначала возвести FP16 в квадрат, затем повысить точность среднегоCУбрать ε, чтобы избежать переполнения

A) Повысить точность входа до FP32 перед возведением в квадрат

B) Сначала возвести FP16 в квадрат, затем повысить точность среднего

C) Убрать ε, чтобы избежать переполнения

Ответ и разбор

Правильный ответ: A. Квадрат 1000 не помещается в FP16. Повышение точности после переполнения не восстановит значение.

Вопрос 6.6.1

6.6. Где поставить норму

В чём структурная разница Post-LN и Pre-LN?

Один правильный вариантAPost-LN нормирует сумму residual и подслоя, а Pre-LN нормирует вход подслоя до сложенияBPost-LN применяется только в блоках кодировщика, тогда как Pre-LN допустима лишь внутри decoder-блоковCPre-LN удаляет остаточное сложение и вместо него конкатенирует вход с выходом каждого подслоя

A) Post-LN нормирует сумму residual и подслоя, а Pre-LN нормирует вход подслоя до сложения

B) Post-LN применяется только в блоках кодировщика, тогда как Pre-LN допустима лишь внутри decoder-блоков

C) Pre-LN удаляет остаточное сложение и вместо него конкатенирует вход с выходом каждого подслоя

Ответ и разбор

Правильный ответ: A. Post-LN ставит норму после h+F(h), поэтому она лежит на прямом пути. Pre-LN вычисляет h+F(Norm(h)) и сохраняет чистый тождественный путь. Это различие влияет на градиенты при инициализации, но не задаёт универсальную судьбу обучения.

Вопрос 6.6.2

6.6. Где поставить норму

Что Peri-LN добавляет к обычному Pre-LN?

Один правильный вариантAУдаляет входную норму и оставляет только норму финальных логитовBЗаменяет остаточное сложение обучаемой матрицей смешивания потоковCНормирует также выход подслоя перед его добавлением в остаточный поток

A) Удаляет входную норму и оставляет только норму финальных логитов

B) Заменяет остаточное сложение обучаемой матрицей смешивания потоков

C) Нормирует также выход подслоя перед его добавлением в остаточный поток

Ответ и разбор

Правильный ответ: C. Peri-LN окружает подслой нормами: N_out(F(N_in(h))). Это контролирует масштаб записываемого приращения. При обучаемом масштабе RMS этого приращения не обязан быть ровно единицей.

Вопрос 6.6.3

6.6. Где поставить норму

Что показывает игрушечный 36-слойный эксперимент none/pre/post?

Один правильный вариантAPost-LN всегда обучается лучше Pre-LN на реальных LLM, поскольку каждый слой жёстко возвращает RMS к единицеBПри одинаковых линейных весах размещение нормы резко меняет масштаб прямого прохода, но не доказывает сходимость обученияCPeri-LN и OLMo2 реализуют один вычислительный граф: обе схемы нормируют вход и выход каждого подслоя

A) Post-LN всегда обучается лучше Pre-LN на реальных LLM, поскольку каждый слой жёстко возвращает RMS к единице

B) При одинаковых линейных весах размещение нормы резко меняет масштаб прямого прохода, но не доказывает сходимость обучения

C) Peri-LN и OLMo2 реализуют один вычислительный граф: обе схемы нормируют вход и выход каждого подслоя

Ответ и разбор

Правильный ответ: B. На фиксированных входе и матрицах RMS получается примерно 4·10⁵, 6.42 и 1.0. Последнее значение обеспечено явной нормировкой каждого шага; эксперимент изолирует динамику масштаба прямого прохода и ничего не доказывает о градиентах реального Transformer.

Вопрос 6.7.1

6.7. Нормализация Q/K: важна и формула, и ось

Как следует различать исходную QKNorm и вариант Q/K RMSNorm из ноутбука?

Один правильный вариантAИсходная QKNorm использует L2-норму и обучаемый масштаб; вариант в ноутбуке применяет RMSNorm и сохраняет другой контракт нормыBПосле выбора epsilon они тождественны: L2-норма и RMSNorm отличаются лишь постоянным множителем, поглощаемым обучаемым масштабомCQKNorm нормирует только value-векторы, тогда как Q/K RMSNorm применяется к маске внимания перед softmax

A) Исходная QKNorm использует L2-норму и обучаемый масштаб; вариант в ноутбуке применяет RMSNorm и сохраняет другой контракт нормы

B) После выбора epsilon они тождественны: L2-норма и RMSNorm отличаются лишь постоянным множителем, поглощаемым обучаемым масштабом

C) QKNorm нормирует только value-векторы, тогда как Q/K RMSNorm применяется к маске внимания перед softmax

Ответ и разбор

Правильный ответ: A. L2-QKNorm использует единичную L2-норму и обучаемый масштаб. Вариант RMSNorm имеет другой знаменатель и сохраняет деление логита на √d_h. При ε>0 инвариантность к масштабу лишь приближённая.

Вопрос 6.7.2

6.7. Нормализация Q/K: важна и формула, и ось

В чём различаются оси Q/K RMSNorm в проверенных реализациях OLMo2 и Qwen3?

Один правильный вариантAOLMo2 нормирует всю Q/K-проекцию до разделения голов; Qwen3 — признаки внутри каждой головыBОбе нормируют только по временной осиCQwen3 объединяет все головы, OLMo2 нормирует каждую отдельно

A) OLMo2 нормирует всю Q/K-проекцию до разделения голов; Qwen3 — признаки внутри каждой головы

B) Обе нормируют только по временной оси

C) Qwen3 объединяет все головы, OLMo2 нормирует каждую отдельно

Ответ и разбор

Правильный ответ: A. Общий знаменатель связывает головы: изменение одной влияет на другие. При независимой нормировке такого влияния нет.

Вопрос 6.8.1

6.8. FFN: расширить признаки, преобразовать, вернуть ширину

Чем гейтованный FFN принципиально отличается от обычного двухматричного?

Один правильный вариантAОн смешивает позиции последовательности дополнительной матрицей внимания вместо независимого преобразования каждой позицииBОн удаляет нелинейность между матричными проекциями и сводит FFN к одному линейному отображениюCОн создаёт зависящее от входа мультипликативное взаимодействие двух ветвей до down-проекции

A) Он смешивает позиции последовательности дополнительной матрицей внимания вместо независимого преобразования каждой позиции

B) Он удаляет нелинейность между матричными проекциями и сводит FFN к одному линейному отображению

C) Он создаёт зависящее от входа мультипликативное взаимодействие двух ветвей до down-проекции

Ответ и разбор

Правильный ответ: C. Одна ветвь вычисляет SiLU(W_gx), другая — W_ux. Их произведение проходит через W_d. Гейт зависит от входа и не обязан лежать в [0,1].

Вопрос 6.8.2

6.8. FFN: расширить признаки, преобразовать, вернуть ширину

Насколько точна аппроксимация GELU(z) ≈ z·sigmoid(1.702z) на [-6,6] в примере модуля?

Один правильный вариантAМаксимальная ошибка около 0.35BМаксимальная ошибка около 0.0203CОна точна только при z>0

A) Максимальная ошибка около 0.35

B) Максимальная ошибка около 0.0203

C) Она точна только при z>0

Ответ и разбор

Правильный ответ: B. Сетка из 4 001 точки даёт максимум около 0.02033. Коэффициент 1.702 также используется в публичном коде gpt-oss, но сама активация там дополнительно содержит ограничение диапазона и сдвиг up+1.

Вопрос 6.8.3

6.8. FFN: расширить признаки, преобразовать, вернуть ширину

Можно ли считать SiLU(g) в SwiGLU вероятностью?

Один правильный вариантAНет: произведение g·sigmoid(g) может быть отрицательным или больше единицыBДа: sigmoid всегда лежит в [0,1], значит и весь гейт тожеCДа, если выход умножается на up

A) Нет: произведение g·sigmoid(g) может быть отрицательным или больше единицы

B) Да: sigmoid всегда лежит в [0,1], значит и весь гейт тоже

C) Да, если выход умножается на up

Ответ и разбор

Правильный ответ: A. Множитель g меняет диапазон. Название «гейт» описывает роль в произведении, а не вероятностную нормировку.

Вопрос 6.9.1

6.9. SwiGLU: бюджет трёх матриц и вариант gpt-oss

Почему ограничение диапазона в конкретной модели нельзя произвольно менять только при инференсе?

Один правильный вариантAОно является частью функции, с которой обучались весаBОно применяется только при упаковке контрольной точки и не входит в прямой проход моделиCОно влияет исключительно на размер файла весов и не изменяет вычисляемые активации

A) Оно является частью функции, с которой обучались веса

B) Оно применяется только при упаковке контрольной точки и не входит в прямой проход модели

C) Оно влияет исключительно на размер файла весов и не изменяет вычисляемые активации

Ответ и разбор

Правильный ответ: A. Верхнее ограничение ветви gate и двустороннее ограничение ветви up, коэффициент 1.702 и сдвиг up+1 определяют вычислительный граф gpt-oss. Их изменение подменяет функцию модели; связь этого дизайна с низкой точностью остаётся инженерной интерпретацией, если авторы не заявили её явно.

Вопрос 6.9.2

6.9. SwiGLU: бюджет трёх матриц и вариант gpt-oss

В варианте gpt-oss при g=u=z чему равны выходы для z=7 и z=9?

Один правильный вариантAОколо 7 и 9BОколо 56 и 72CОколо 56 и 56

A) Около 7 и 9

B) Около 56 и 72

C) Около 56 и 56

Ответ и разбор

Правильный ответ: C. На положительной диагонали обе ветви достигают установленных пределов: gate=7 и up=7, поэтому (up+1)=8 и результат около 56. Нулевой градиент за порогом относится к соответствующей зажатой ветви; нижнее ограничение ветви up всё равно влияет на отрицательные входы.

Вопрос 6.10.1

6.10. Решённый пример: Llama-3.1-8B до последнего параметра

Какую долю полного плотного блока Llama-3.1-8B занимают матрицы FFN?

Один правильный вариантAОколо 19.2%BОколо 80.8%CРовно 50%

A) Около 19.2%

B) Около 80.8%

C) Ровно 50%

Ответ и разбор

Правильный ответ: B. FFN содержит 176.16M параметров, attention — 41.94M, нормы — 8192; полный блок содержит 218.112M. Поэтому доля FFN около 80.8% для этой конкретной конфигурации.

Вопрос 6.10.2

6.10. Решённый пример: Llama-3.1-8B до последнего параметра

Как соотносятся оценки 13d² и 13d²+2d для Llama-3.1-8B?

Один правильный вариантA13d² — только матричные веса attention+FFN; две RMSNorm дают полный блок 13d²+2dB13d² уже включает обе нормы, а добавка +2d относится к двум таблицам эмбеддингов на входе и выходеC13d² относится к MHA-варианту блока, а +2d появляется лишь после замены MHA на GQA

A) 13d² — только матричные веса attention+FFN; две RMSNorm дают полный блок 13d²+2d

B) 13d² уже включает обе нормы, а добавка +2d относится к двум таблицам эмбеддингов на входе и выходе

C) 13d² относится к MHA-варианту блока, а +2d появляется лишь после замены MHA на GQA

Ответ и разбор

Правильный ответ: A. При d=4096 матричная часть равна 218,103,808, нормы добавляют 8192, полный блок — 218,112,000. Разница мала, но обязательна при счёте до последнего параметра.

Вопрос 6.11.1

6.11. DyT и DyISRU: преобразования без общей статистики

Почему DyT нельзя считать тождественной обычной RMSNorm?

Один правильный вариантADyT вычисляет статистику всего мини-пакета и зависит от других примеров, тогда как RMSNorm работает отдельно для каждого токенаBRMSNorm является линейной функцией с фиксированным коэффициентом, а DyT лишь добавляет нелинейность tanhCDyT действует покоординатно, а RMSNorm связывает координаты общим знаменателем

A) DyT вычисляет статистику всего мини-пакета и зависит от других примеров, тогда как RMSNorm работает отдельно для каждого токена

B) RMSNorm является линейной функцией с фиксированным коэффициентом, а DyT лишь добавляет нелинейность tanh

C) DyT действует покоординатно, а RMSNorm связывает координаты общим знаменателем

Ответ и разбор

Правильный ответ: C. Одинаковая координата получает от DyT тот же результат независимо от соседей; у RMSNorm знаменатель меняется вместе со всем вектором. Число alpha≈1.43 в ноутбуке — собственный синтетический подбор модуля, а не параметр из статьи.

Вопрос 6.11.2

6.11. DyT и DyISRU: преобразования без общей статистики

При γ=1 и β=0 какое b в x/√(b+x²) даёт наклон 0.5 в нуле?

Один правильный вариантAb=4Bb=0.5Cb=1.43

A) b=4

B) b=0.5

C) b=1.43

Ответ и разбор

Правильный ответ: A. Производная в нуле равна 1/√b; 1/√4=0.5. Коэффициент 1.43 получен в другом опыте — скалярном подборе DyT.

Вопрос 6.12.1

6.12. mHC: несколько остаточных потоков

Что именно ограничивает Manifold-Constrained Hyper-Connections (mHC)?

Один правильный вариантAСкрытые состояния каждого остаточного потока принудительно проецируются на одно низкоразмерное многообразие признаковBМатрицы смешивания нескольких остаточных потоков проецируются в ограниченное пространствоCОграничивается только расписание темпа обучения на поздней стадии, а структура остаточных связей не изменяется

A) Скрытые состояния каждого остаточного потока принудительно проецируются на одно низкоразмерное многообразие признаков

B) Матрицы смешивания нескольких остаточных потоков проецируются в ограниченное пространство

C) Ограничивается только расписание темпа обучения на поздней стадии, а структура остаточных связей не изменяется

Ответ и разбор

Правильный ответ: B. mHC ограничивает остаточную матрицу смешивания нескольких потоков. Конечное число итераций Sinkhorn даёт приближённо дважды стохастическую матрицу: нужно проверять суммы строк и столбцов. Ограничение относится к связям, а не к многообразию скрытых состояний.

Вопрос 6.12.2

6.12. mHC: несколько остаточных потоков

Что следует проверить после 20 итераций Sinkhorn?

Один правильный вариантAНеотрицательность и невязки сумм как строк, так и столбцовBТолько сумму одного столбца: остальное гарантировано числом 20CРавенство полученной матрицы единичной

A) Неотрицательность и невязки сумм как строк, так и столбцов

B) Только сумму одного столбца: остальное гарантировано числом 20

C) Равенство полученной матрицы единичной

Ответ и разбор

Правильный ответ: A. При конечном числе итераций одна группа сумм может оставаться неточной. Даже точная дважды стохастическая матрица не обязана быть единичной.

Вопрос 6.15.1

6.15. Сопоставляем учебный блок с кодом gpt-oss

Как исходный код gpt-oss разделяет объединённую gate/up-проекцию?

Один правильный вариантAЧётные позиции — gate, нечётные — upBПервая половина — gate, вторая — upCОдна и та же проекция служит обеими ветвями

A) Чётные позиции — gate, нечётные — up

B) Первая половина — gate, вторая — up

C) Одна и та же проекция служит обеими ветвями

Ответ и разбор

Правильный ответ: A. Используются x[..., ::2] и x[..., 1::2]. Деление пополам сохраняет формы, но меняет функцию.