Современные LLM20 / 20

Модуль 20. LLM целиком: от токенов до обучения и генерации

Выберите ответы и нажмите «Проверить». Для чисел подходят точка, запятая и простые дроби. Ответы и черновики сохраняются в этом браузере и общие для RU/EN.

Проверено: 0 / 15 · Верно: 0

Вопрос 20.1.1

20.1. Какие три задачи должна описать математика

Что отличает прямой проход от генерации?

Один правильный вариантAПрямой проход вычисляет распределение; генерация ещё выбирает токен и дописывает его к контекстуBПрямой проход обновляет веса, а генерация только считает потерюCПрямой проход всегда выбирает самый вероятный токен

A) Прямой проход вычисляет распределение; генерация ещё выбирает токен и дописывает его к контексту

B) Прямой проход обновляет веса, а генерация только считает потерю

C) Прямой проход всегда выбирает самый вероятный токен

Ответ и разбор

Правильный ответ: A. Выбор, добавление токена и остановка — правила генерации. Само вычисление logits не выбирает продолжение.

Вопрос 20.3.1

20.3. От токенов к начальным представлениям

Для последовательности [BOS, A, B, EOS] выбраны входы [BOS, A, B]. Каковы цели?

Один правильный вариантA[BOS, A, B]B[A, B, EOS]C[EOS, EOS, EOS]

A) [BOS, A, B]

B) [A, B, EOS]

C) [EOS, EOS, EOS]

Ответ и разбор

Правильный ответ: B. Цель сдвинута на одну позицию: каждая строка предсказывает следующий токен по известному прошлому.

Вопрос 20.4.1

20.4. RMSNorm: масштаб перед вычислением подслоя

Почему RMSNorm в описанной модели не открывает доступ к будущим токенам?

Один правильный вариантAОна вычитает среднее по всем позициям последовательностиBОна обнуляет ключи после текущей позицииCОна вычисляет масштаб отдельно внутри каждой строки представления

A) Она вычитает среднее по всем позициям последовательности

B) Она обнуляет ключи после текущей позиции

C) Она вычисляет масштаб отдельно внутри каждой строки представления

Ответ и разбор

Правильный ответ: C. RMSNorm работает по координатам одной позиции. Причинную видимость между позициями отдельно задаёт маска внимания.

Вопрос 20.5.1

20.5. Проекции и RoPE: содержание встречается с позицией

Что преобразует RoPE в базовой конфигурации М20?

Один правильный вариантAЗапросы и ключи; значения остаются неповёрнутымиBТолько значения, поскольку именно они складываютсяCВсе веса линейных слоёв при каждом новом токене

A) Запросы и ключи; значения остаются неповёрнутыми

B) Только значения, поскольку именно они складываются

C) Все веса линейных слоёв при каждом новом токене

Ответ и разбор

Правильный ответ: A. Позиционные вращения применяются к активациям Q/K. Фиксированные частоты не являются обучаемыми матрицами.

Вопрос 20.6.1

20.6. Причинное внимание и совместное использование K/V

При h_q=4 и h_kv=2 какие головы запросов используют первую K/V-голову, если головы нумеруются с нуля?

Один правильный вариантA0 и 2B0 и 1CТолько 0

A) 0 и 2

B) 0 и 1

C) Только 0

Ответ и разбор

Правильный ответ: B. Отображение g(j)=floor(j/2) объединяет последовательные пары голов запросов. Их собственные запросы при этом различаются.

Вопрос 20.7.1

20.7. FFN и полный блок: где заканчивается один слой

Что проходит по первой остаточной ветви блока pre-norm?

Один правильный вариантAТолько нормализованный вход внимания N(H)BМатрица вероятностей внимания ACПредставление H до нормализации внимания

A) Только нормализованный вход внимания N(H)

B) Матрица вероятностей внимания A

C) Представление H до нормализации внимания

Ответ и разбор

Правильный ответ: C. Блок вычисляет Z=H+Attention(N(H)). Норма относится к преобразующей ветви, а обход сохраняет H.

Вопрос 20.8.1

20.8. Стек блоков, выход и состав параметров

В примере V=4, d=m=2 и один блок. Сколько параметров останется при связывании E и U?

Один правильный вариантA42B50C34

A) 42

B) 50

C) 34

Ответ и разбор

Правильный ответ: A. В независимом варианте 50 параметров. Связывание убирает одну таблицу из 4×2=8 параметров; конечная норма остаётся.

Вопрос 20.10.1

20.10. От условного распределения к вероятности текста и потере

Вероятность единственной выбранной цели EOS равна 0.183502. Какова средняя потеря по маске?

Один правильный вариантAПримерно 0.565177 натBПримерно 1.695530 натCПримерно 0.183502 нат

A) Примерно 0.565177 нат

B) Примерно 1.695530 нат

C) Примерно 0.183502 нат

Ответ и разбор

Правильный ответ: B. Маска выбирает одну цель, поэтому знаменатель равен 1. Потеря равна −ln(0.183502); число остальных входных позиций не делит её дополнительно.

Вопрос 20.11.1

20.11. Обратный проход: как ошибка достигает каждой матрицы

Как складываются градиенты таблицы E при связанных эмбеддингах?

Второй проход — после §11.

Один правильный вариантAИспользуется только вклад последнего слояBСоздаются две независимые таблицы с отдельными обновлениямиCСуммируются вклады входного lookup и выходной проекции

A) Используется только вклад последнего слоя

B) Создаются две независимые таблицы с отдельными обновлениями

C) Суммируются вклады входного lookup и выходной проекции

Ответ и разбор

Правильный ответ: C. Одна обучаемая переменная участвует в двух местах графа. Правило цепочки суммирует оба пути до обновления параметров.

Вопрос 20.12.1

20.12. Шаг AdamW: градиент превращается в новые веса

Какой вывод допускает снижение потери с 1.109374 до 1.084832 после шага AdamW?

Один правильный вариантAПри заданных настройках уменьшилась потеря на той же последовательностиBМодель обязательно стала лучше на новых текстахCВсе последующие шаги обязаны снижать потерю

A) При заданных настройках уменьшилась потеря на той же последовательности

B) Модель обязательно стала лучше на новых текстах

C) Все последующие шаги обязаны снижать потерю

Ответ и разбор

Правильный ответ: A. Это проверенный результат одного шага на обучающем примере. Он не гарантирует монотонности или обобщения.

Вопрос 20.13.1

20.13. Генерация: распределение не равно выбранному тексту

Top-2 исключил EOS из распределения выбора. Что можно заключить о базовой модели?

Один правильный вариантAЕё веса EOS были обнуленыBЕё вероятность EOS могла оставаться положительнойCОна больше не сможет завершить никакую последовательность

A) Её веса EOS были обнулены

B) Её вероятность EOS могла оставаться положительной

C) Она больше не сможет завершить никакую последовательность

Ответ и разбор

Правильный ответ: B. Top-k меняет распределение декодера q и не обновляет веса. Исходное p может назначать EOS ненулевую вероятность.

Вопрос 20.14.1

20.14. KV-cache: то же вычисление с сохранённым прошлым

Какой кэш можно использовать после обновления весов обучением?

Один правильный вариантAСтарый кэш всегда подходит, если идентификаторы токенов прежниеBДостаточно изменить только номер следующей позицииCНужно пересчитать K/V префикса с новыми весами

A) Старый кэш всегда подходит, если идентификаторы токенов прежние

B) Достаточно изменить только номер следующей позиции

C) Нужно пересчитать K/V префикса с новыми весами

Ответ и разбор

Правильный ответ: C. K/V зависят от весов и промежуточных активаций. Один и тот же текст не делает кэш прежних весов действительным.

Вопрос 20.15.1

20.15. MoE: заменяем конкретный оператор, сохраняя остальную конструкцию

В sigmoid-router MiniLLM балансировочная поправка используется где?

Второй проход — после §15.

Один правильный вариантAПри выборе экспертов; веса смеси нормируются из исходных sigmoid-оценокBТолько при нормировке весов выбранной смесиCОдновременно заменяет и веса экспертов, и их выходы

A) При выборе экспертов; веса смеси нормируются из исходных sigmoid-оценок

B) Только при нормировке весов выбранной смеси

C) Одновременно заменяет и веса экспертов, и их выходы

Ответ и разбор

Правильный ответ: A. Выбор top-k по score+bias отделён от нормировки исходных scores. Это конкретный контракт маршрутизации данного примера.

Вопрос 20.19.1

20.19. Где итоговая конструкция меняется: SSM и диффузия

Что может сохраниться при переходе от внимания к причинной SSM?

Один правильный вариантAОбязательное хранение отдельных K/V всех прошлых позицийBПредсказание следующего токена и произведение авторегрессионных вероятностейCТочное внутреннее устройство любого Transformer-блока

A) Обязательное хранение отдельных K/V всех прошлых позиций

B) Предсказание следующего токена и произведение авторегрессионных вероятностей

C) Точное внутреннее устройство любого Transformer-блока

Ответ и разбор

Правильный ответ: B. Причинная SSM меняет оператор контекста и форму переносимого состояния. Это совместимо с прежней авторегрессионной целью, но не требует прежнего устройства блока.

Вопрос 20.19.2

20.19. Где итоговая конструкция меняется: SSM и диффузия

Зачем в итоговой вероятности диффузионной модели суммировать скрытые последовательности?

Один правильный вариантAЧтобы заменить вероятности токенов их средним арифметическимBПотому что шаг диффузии всегда добавляет ровно один токен справаCОдин чистый результат может быть достигнут разными траекториями уточнения

A) Чтобы заменить вероятности токенов их средним арифметическим

B) Потому что шаг диффузии всегда добавляет ровно один токен справа

C) Один чистый результат может быть достигнут разными траекториями уточнения

Ответ и разбор

Правильный ответ: C. Произведение обратных переходов описывает одну траекторию. Сумма маргинализирует промежуточные состояния, а не позиции последовательности.