Современные LLM12 / 20

Модуль 12. Диффузионные LLM

Выберите ответы и нажмите «Проверить». Для чисел подходят точка, запятая и простые дроби. Ответы и черновики сохраняются в этом браузере и общие для RU/EN.

Проверено: 0 / 19 · Верно: 0

Вопрос 12.1.1

12.1. Мотивация: изменить единицу последовательной работы

Что позволяет dLLM уменьшить число последовательных барьеров?

Один правильный вариантAОдин проход уточняет несколько позицийBМодель обязательно имеет меньше параметровCДля всех задач достаточно одного прохода

A) Один проход уточняет несколько позиций

B) Модель обязательно имеет меньше параметров

C) Для всех задач достаточно одного прохода

Ответ и разбор

Правильный ответ: A. Параллельное уточнение меняет единицу работы. Число итераций и стоимость каждого прохода остаются существенными.

Вопрос 12.5.1

12.5. Прямой процесс: поглощающее маскирование

При линейном маскировании t=0.25. Какова вероятность сохранить токен?

Один правильный вариантA1.25B0.75C0.25

A) 1.25

B) 0.75

C) 0.25

Ответ и разбор

Правильный ответ: B. Вероятность маски равна t, а сохранения — 1−t.

Вопрос 12.5.2

12.5. Прямой процесс: поглощающее маскирование

Что означает поглощающая маска в прямом процессе?

Один правильный вариантAМодель не может восстановить токенBПромпт обязательно удаляется целикомCЗамаскированная позиция не возвращается к обычному токену в прямом процессе

A) Модель не может восстановить токен

B) Промпт обязательно удаляется целиком

C) Замаскированная позиция не возвращается к обычному токену в прямом процессе

Ответ и разбор

Правильный ответ: C. Восстановление выполняется обратной моделью. Поглощение описывает направление порчи данных.

Вопрос 12.6.1

12.6. Решённый пример A: расписание руками

Какие целевые количества масок задают четыре равномерных шага раскрытия для восьми позиций, начиная с полностью скрытой последовательности?

Один правильный вариантA8, 6, 4, 2, 0B8, 4, 0, 0, 0C0, 2, 4, 6, 8

A) 8, 6, 4, 2, 0

B) 8, 4, 0, 0, 0

C) 0, 2, 4, 6, 8

Ответ и разбор

Правильный ответ: A. На каждом шаге открываются две позиции; начальное состояние тоже включено в список.

Вопрос 12.7.1

12.7. Цель обучения: ELBO и masked cross-entropy

Для четырёх скрытых позиций вероятности правильных токенов равны 0.9, 0.7, 0.6 и 0.8. Чему равна взвешенная сумма потерь при t=0.5?

Один правильный вариантAРовно 3.0BОколо 2.3920CОколо 0.2990

A) Ровно 3.0

B) Около 2.3920

C) Около 0.2990

Ответ и разбор

Правильный ответ: B. Сумма отрицательных натуральных логарифмов умножается на 1/t=2.

Вопрос 12.7.2

12.7. Цель обучения: ELBO и masked cross-entropy

Как изменится этот loss, если вместо суммы взять среднее по четырём маскам, сохранив вес 1/t?

Один правильный вариантAНе изменитсяBУвеличится в четыре разаCУменьшится в четыре раза

A) Не изменится

B) Увеличится в четыре раза

C) Уменьшится в четыре раза

Ответ и разбор

Правильный ответ: C. Способ редукции — часть численного контракта функции потерь.

Вопрос 12.7.3

12.7. Цель обучения: ELBO и masked cross-entropy

При независимом маскировании ни один токен не был скрыт. Каков вклад в сумму потерь?

Один правильный вариантA0BОбязательно NaNCНужно молча скрыть один токен

A) 0

B) Обязательно NaN

C) Нужно молча скрыть один токен

Ответ и разбор

Правильный ответ: A. Пустая сумма равна нулю. Принудительное изменение маски меняет распределение обучающих входов.

Вопрос 12.8.1

12.8. Any-order и границы симметрии

Гарантирует ли двунаправленное маскирование знание обратного отношения?

Один правильный вариантAНет: данные и разбиение сущностей также имеют значениеBДа, для любых фактовCДа, если словарь достаточно большой

A) Нет: данные и разбиение сущностей также имеют значение

B) Да, для любых фактов

C) Да, если словарь достаточно большой

Ответ и разбор

Правильный ответ: A. Симметрия обучающих задач не создаёт отсутствующие в данных сведения.

Вопрос 12.9.1

12.9. Семплинг и решённый пример B

Зачем возвращать уже открытую позицию в маску?

Один правильный вариантAИзменить число параметров моделиBПересмотреть её с учётом уточнённого контекстаCГарантированно уменьшить число модельных вызовов

A) Изменить число параметров модели

B) Пересмотреть её с учётом уточнённого контекста

C) Гарантированно уменьшить число модельных вызовов

Ответ и разбор

Правильный ответ: B. Повторное маскирование даёт ещё одну возможность исправления, но может требовать дополнительных вычислений.

Вопрос 12.9.2

12.9. Семплинг и решённый пример B

Источник выдаёт только AA и BB поровну. Сколько массы независимая выборка из двух маргиналов отдаёт AB и BA вместе?

Один правильный вариантA0B0.5C1

A) 0

B) 0.5

C) 1

Ответ и разбор

Правильный ответ: B. Каждый маргинал равен (0.5,0.5). Два невозможных исхода получают по 0.25.

Вопрос 12.9.3

12.9. Семплинг и решённый пример B

Фиксированные логиты, жадные кандидаты, все позиции будут раскрыты. Что меняет порядок?

Один правильный вариантAПромежуточные состояния, но не конечные кандидатыBГарантированно исправляет итогCМеняет обученные веса

A) Промежуточные состояния, но не конечные кандидаты

B) Гарантированно исправляет итог

C) Меняет обученные веса

Ответ и разбор

Правильный ответ: A. Для влияния контекста на итог предсказания должны зависеть от состояния.

Вопрос 12.10.1

12.10. Учебная roofline-модель: экономика одного прохода

Чтение весов занимает не менее 4.776 мс, арифметика прохода — не менее 16.549 мс. Какой нижний предел даёт идеализированная roofline-модель?

Один правильный вариантA4.776 мсBИзмеренная задержка точно равна 21.325 мсC16.549 мс

A) 4.776 мс

B) Измеренная задержка точно равна 21.325 мс

C) 16.549 мс

Ответ и разбор

Правильный ответ: C. Берётся максимум двух пределов при идеальном перекрытии. Это нижняя граница, не измерение.

Вопрос 12.11.1

12.11. Шаги, батчи и точность весов

Почему выигрыш dLLM над AR при одном запросе нельзя переносить на большой батч?

Один правильный вариантAAR тоже амортизирует чтение весов по нескольким запросамBВ батче AR перестаёт быть авторегрессионнойCБатч устраняет весь KV-трафик

A) AR тоже амортизирует чтение весов по нескольким запросам

B) В батче AR перестаёт быть авторегрессионной

C) Батч устраняет весь KV-трафик

Ответ и разбор

Правильный ответ: A. Размер пакета меняет соотношение чтения весов, KV-трафика и вычислений.

Вопрос 12.12.1

12.12. Код первого уровня

Что должен сделать учебный loss с target ID −1?

Один правильный вариантAЗаменить его самым вероятным токеномBОтклонить некорректный IDCИспользовать последний столбец logits

A) Заменить его самым вероятным токеном

B) Отклонить некорректный ID

C) Использовать последний столбец logits

Ответ и разбор

Правильный ответ: B. Отрицательная индексация NumPy допустима технически, но нарушает контракт ID словаря.

Вопрос 12.14.1

12.14. Блочная диффузия, длина и KV-кэш

Какое состояние можно точно переиспользовать в рассмотренной блочной диффузии?

Один правильный вариантAЛюбое состояние меняющегося двунаправленного холстаBВсе logits независимо от изменений токеновCСостояние завершённого префикса, независимого от будущего блока

A) Любое состояние меняющегося двунаправленного холста

B) Все logits независимо от изменений токенов

C) Состояние завершённого префикса, независимого от будущего блока

Ответ и разбор

Правильный ответ: C. Текущий блок пересчитывается; кэширование префикса требует соответствующей маски или архитектуры.

Вопрос 12.14.2

12.14. Блочная диффузия, длина и KV-кэш

Что происходит с порядком продвижения при длине блока 1?

Один правильный вариантAОн становится похожим на последовательное AR-продвижениеBВсе позиции открываются одновременноCФункции потерь всех моделей становятся тождественными

A) Он становится похожим на последовательное AR-продвижение

B) Все позиции открываются одновременно

C) Функции потерь всех моделей становятся тождественными

Ответ и разбор

Правильный ответ: A. Совпадение единицы продвижения само по себе не доказывает тождество всех целей и семплеров.

Вопрос 12.14.3

12.14. Блочная диффузия, длина и KV-кэш

Последний вызов денойзинга видел маски, после него выбраны окончательные токены блока. Как подготовить кэш истории?

Один правильный вариантAСохранить старые K/V без измененийBСкопировать логиты в K/VCПолучить состояния окончательного чистого блока

A) Сохранить старые K/V без изменений

B) Скопировать логиты в K/V

C) Получить состояния окончательного чистого блока

Ответ и разбор

Правильный ответ: C. Кэш должен зависеть от готовых значений, а не прежнего зашумлённого входа.

Вопрос 12.15.1

12.15. Паспорт DiffusionGemma

Почему active parameters на токен недостаточно для расчёта весового трафика MoE-холста?

Один правильный вариантAВсе эксперты всегда активны для каждого токенаBРазные позиции могут выбрать разные наборы экспертовCВ MoE нет весов

A) Все эксперты всегда активны для каждого токена

B) Разные позиции могут выбрать разные наборы экспертов

C) В MoE нет весов

Ответ и разбор

Правильный ответ: B. Трафик зависит от объединения затронутых экспертов, форматов и реализации.

Вопрос 12.17.1

12.17. Мультимодальные системы

Что следует уточнить у мультимодальной системы, называющей себя диффузионной?

Один правильный вариантAТолько число слоёв LLMBТолько размер текстового словаряCВ каком компоненте и над каким представлением идёт диффузия

A) Только число слоёв LLM

B) Только размер текстового словаря

C) В каком компоненте и над каким представлением идёт диффузия

Ответ и разбор

Правильный ответ: C. Восстановление текстовых токенов и генерация изображения могут использовать разные процессы.