VKВлад КуликовОткрытые лекции
Современные LLM3 / 20

Модуль 3. Базовый Transformer

Выберите ответы и нажмите «Проверить». Для чисел подходят точка, запятая и простые дроби. Ответы и черновики сохраняются в этом браузере и общие для RU/EN.

Проверено: 0 / 46 · Верно: 0

Вопрос 3.1.1

3.1. Зачем Transformer вообще понадобился

Какую проблему Transformer решил по сравнению с рекуррентной обработкой?

Один правильный вариант

Вопрос 3.1.2

3.1. Зачем Transformer вообще понадобился

Как понять, что можно перейти от М3 к М4?

Один правильный вариант

Вопрос 3.2.1

3.2. Карта обозначений и форм тензоров

Что обозначает d_model в базовом Transformer?

Один правильный вариант

Вопрос 3.2.2

3.2. Карта обозначений и форм тензоров

B = 2, T = 5, h = 4 головы. Какова форма матрицы весов внимания?

Один правильный вариант

Вопрос 3.3.1

3.3. Шаг 1. Токены, эмбеддинги и позиции

Что делает embedding lookup?

Один правильный вариант

Вопрос 3.3.2

3.3. Шаг 1. Токены, эмбеддинги и позиции

Что произойдёт при перестановке входных строк немаскированного self-attention без позиций?

Один правильный вариант

Вопрос 3.4.1

3.4. Шаг 2. Scaled dot-product attention

Как интерпретировать роли Q, K и V?

Один правильный вариант

Вопрос 3.4.2

3.4. Шаг 2. Scaled dot-product attention

Q, K и V имеют форму 2 × 4 × 5 × 8. Какова форма Z = AV до объединения голов?

Один правильный вариант

Вопрос 3.5.1

3.5. Маски: кто имеет право кого видеть

Чем маска паддинга отличается от каузальной?

Один правильный вариант

Вопрос 3.5.2

3.5. Маски: кто имеет право кого видеть

Почему нельзя посчитать softmax, а потом занулить запрещённые веса?

Один правильный вариант

Вопрос 3.5.3

3.5. Маски: кто имеет право кого видеть

Что означает True в маске allowed этой лекции?

Один правильный вариант

Вопрос 3.6.1

3.6. Многоголовое внимание (multi-head attention)

d_model = 32, h = 4, стандартное равномерное разбиение. Какова ширина головы?

Один правильный вариант

Вопрос 3.6.2

3.6. Многоголовое внимание (multi-head attention)

Зачем многоголовому вниманию выходная проекция W_O?

Один правильный вариант

Вопрос 3.7.1

3.7. FFN: нелинейное преобразование каждой позиции

Что означает, что FFN является position-wise?

Один правильный вариант

Вопрос 3.7.2

3.7. FFN: нелинейное преобразование каждой позиции

Что случится с двумя линейными слоями FFN, если убрать нелинейность между ними?

Один правильный вариант

Вопрос 3.8.1

3.8. Остаточная связь и LayerNorm

По какой оси LayerNorm нормирует представление в Transformer?

Один правильный вариант

Вопрос 3.8.2

3.8. Остаточная связь и LayerNorm

Как записывается обновление остаточного потока в схеме pre-norm?

Один правильный вариант

Вопрос 3.9.1

3.9. Encoder-слой и encoder-стек

Какие ключи доступны позиции в обычном encoder self-attention?

Один правильный вариант

Вопрос 3.9.2

3.9. Encoder-слой и encoder-стек

Почему encoder-only модели остаются полезны?

Один правильный вариант

Вопрос 3.10.1

3.10. Decoder-слой и cross-attention

Откуда приходят Q, K и V в cross-attention декодера?

Один правильный вариант

Вопрос 3.10.2

3.10. Decoder-слой и cross-attention

Что предсказывает вход BOS, A, B в игрушечном примере обучения?

Один правильный вариант

Вопрос 3.11.1

3.11. Обучение: teacher forcing и cross-entropy

Что означает teacher forcing?

Один правильный вариант

Вопрос 3.11.2

3.11. Обучение: teacher forcing и cross-entropy

Словарь на 100 токенов. Что измеряет кросс-энтропия и чему равен ориентир равномерного предсказания?

Один правильный вариант

Вопрос 3.11.3

3.11. Обучение: teacher forcing и cross-entropy

Токен исключён из loss mask. Может ли он оставаться контекстом?

Один правильный вариант

Вопрос 3.12.1

3.12. Генерация: тот же прямой проход, другой цикл

Почему генерация последовательна, хотя обучение параллельно?

Один правильный вариант

Вопрос 3.12.2

3.12. Генерация: тот же прямой проход, другой цикл

Что сохраняет KV-кэш в каузальной модели при фиксированных весах и позициях?

Один правильный вариант

Вопрос 3.13.1

3.13. Минимальная реализация scaled dot-product attention

Какой тип возвращает показанная функция scaled_dot_product_attention для входов float16?

Один правильный вариант

Вопрос 3.13.2

3.13. Минимальная реализация scaled dot-product attention

Как меняется каузальная маска при декоде с кэшем и смещением запроса?

Один правильный вариант

Вопрос 3.14.1

3.14. Минимальный Transformer-блок

В pre-norm блоке обе ветви возвращают нули, включая смещения. Каков выход?

Один правильный вариант

Вопрос 3.14.2

3.14. Минимальный Transformer-блок

Как проверить каузальность блока?

Один правильный вариант

Вопрос 3.15.1

3.15. Полная трассировка форм на игрушечной модели

B = 2, T = 5, d_model = 32, h = 4, d_ff = 128. Какова форма упакованного QKV?

Один правильный вариант

Вопрос 3.15.2

3.15. Полная трассировка форм на игрушечной модели

Что исключено из подсчёта основных весов слоя в §15.1?

Один правильный вариант

Вопрос 3.16.1

3.16. Оригинал 2017 и современная LLM: что сохранилось

Какие компоненты базового Transformer уцелели в современной decoder-only LLM?

Один правильный вариант

Вопрос 3.16.2

3.16. Оригинал 2017 и современная LLM: что сохранилось

Какая замена характерна для современной LLM против оригинала 2017 года?

Один правильный вариант

Вопрос 3.17.1

3.17. Что часто путают

Почему большой вес внимания не доказывает причинность?

Один правильный вариант

Вопрос 3.17.2

3.17. Что часто путают

Почему каузальная маска не делает обучение последовательным?

Один правильный вариант

Вопрос 3.18.1

3.18. Самопроверка

Что делать, если несколько вопросов самопроверки пока не удаются?

Один правильный вариант

Вопрос 3.18.2

3.18. Самопроверка

По какой оси нормируется softmax во внимании, если у запроса есть разрешённые ключи?

Один правильный вариант

Вопрос 3.19.1

3.19. Упражнения с решениями

Что проверяет упражнение с двумя последовательностями, различными только в будущем?

Один правильный вариант

Вопрос 3.19.2

3.19. Упражнения с решениями

Что подтверждает успешное обучение на периоде 0,1,2,3,4,5?

Один правильный вариант

Вопрос 3.20.1

3.20. Ноутбук модуля

Зачем ноутбук проверяет встроенный числовой контракт по SHA-256?

Один правильный вариант

Вопрос 3.20.2

3.20. Ноутбук модуля

Почему опубликованный ноутбук поставляется без сохранённых выводов?

Один правильный вариант

Вопрос 3.21.1

3.21. Маршрут чтения и источники

Какой источник является первоисточником архитектуры Transformer 2017 года?

Один правильный вариант

Вопрос 3.21.2

3.21. Маршрут чтения и источники

Почему маршрут чтения предлагает несколько источников вместо одного?

Один правильный вариант

Вопрос 3.22.1

3.22. Итоговая шпаргалка и переход к позициям

В каком порядке выполняются операции post-norm блока энкодера в исходном Transformer?

Один правильный вариант

Вопрос 3.22.2

3.22. Итоговая шпаргалка и переход к позициям

Что означает вывод «вычислительный скелет остаётся узнаваемым»?

Один правильный вариант