Современные LLM14 / 20

Модуль 14. Обучение по обратной связи: RLHF, DPO, RLOO и GRPO

Выберите ответы и нажмите «Проверить». Для чисел подходят точка, запятая и простые дроби. Ответы и черновики сохраняются в этом браузере и общие для RU/EN.

Проверено: 0 / 19 · Верно: 0

Вопрос 14.4.1

14.4. Классический RLHF: три стадии и четыре логические роли

Какие стадии образуют классический маршрут RLHF?

Один правильный вариантASFT, обучение модели вознаграждения и обновление политики через PPOBПретрейн, дистилляция учителя и калибровка выходных вероятностейCСбор пар, обучение только критика и выбор лучшего ответа из группы

A) SFT, обучение модели вознаграждения и обновление политики через PPO

B) Претрейн, дистилляция учителя и калибровка выходных вероятностей

C) Сбор пар, обучение только критика и выбор лучшего ответа из группы

Ответ и разбор

Правильный ответ: A. Это алгоритмический маршрут из трёх стадий. Политика, референс, модель вознаграждения и критик задают четыре логические роли, но реализация может разделять основы сетей, выгружать или шардировать их.

Вопрос 14.5.1

14.5. Решённый пример A: читаем Bradley–Terry в обе стороны

Разметчики предпочитают один ответ в 75% сравнений. Какова разность оценок в модели Bradley–Terry?

Один правильный вариантA0.750 — доля побед непосредственно равна разности оценокB1.099 — это ln(0.75/0.25), обратное преобразование сигмоидыC0.622 — это значение сигмоиды от наблюдаемой доли побед

A) 0.750 — доля побед непосредственно равна разности оценок

B) 1.099 — это ln(0.75/0.25), обратное преобразование сигмоиды

C) 0.622 — это значение сигмоиды от наблюдаемой доли побед

Ответ и разбор

Правильный ответ: B. В модели Bradley–Terry вероятность предпочтения равна сигмоиде разности оценок. Поэтому обратный переход выполняется логитом: ln(3) ≈ 1.099.

Вопрос 14.6.1

14.6. DPO: как исключить явную модель вознаграждения

Что DPO исключает из классического RLHF-контура?

Один правильный вариантAТолько KL-регуляризацию, сохраняя модель вознаграждения и PPOBТолько клиппинг PPO, заменяя его обычным градиентом политикиCУбирает отдельную модель награды и PPO, обучаясь напрямую на парах

A) Только KL-регуляризацию, сохраняя модель вознаграждения и PPO

B) Только клиппинг PPO, заменяя его обычным градиентом политики

C) Убирает отдельную модель награды и PPO, обучаясь напрямую на парах

Ответ и разбор

Правильный ответ: C. В выбранной KL-регуляризованной постановке разность наград выражается через отношения текущей и референсной политик. Это приводит к прямой функции потерь по парам, но не создаёт универсальный внешний оценщик ответов.

Вопрос 14.7.1

14.7. Решённый пример B: что именно делает коэффициент $\beta$

Для DPO-отступа z = 0.170 чему равен модуль локальной производной функции потерь по z?

Один правильный вариантA0.4576 — это σ(−z)B1.0000 — производная DPO не зависит от отступаC0.6118 — производная равна самой функции потерь

A) 0.4576 — это σ(−z)

B) 1.0000 — производная DPO не зависит от отступа

C) 0.6118 — производная равна самой функции потерь

Ответ и разбор

Правильный ответ: A. Для L = softplus(−z) модуль производной по z равен σ(−z). Полный градиент по параметрам дополнительно включает β и производные логарифмов вероятностей.

Вопрос 14.7.2

14.7. Решённый пример B: что именно делает коэффициент $\beta$

Для той же разности логарифмов отношений β увеличили с 0.1 до 0.5. Что происходит в численном примере?

Один правильный вариантAОтступ не меняется, поскольку β сокращается внутри разностиBОтступ растёт до 0.85, а локальный вес пары уменьшается до 0.299CОтступ уменьшается до 0.034, а локальный вес становится больше 0.5

A) Отступ не меняется, поскольку β сокращается внутри разности

B) Отступ растёт до 0.85, а локальный вес пары уменьшается до 0.299

C) Отступ уменьшается до 0.034, а локальный вес становится больше 0.5

Ответ и разбор

Правильный ответ: B. В этом фиксированном примере β масштабирует отступ до сигмоиды. Это утверждение описывает локальную геометрию пары; влияние β на полный процесс обучения зависит также от данных и динамики политики.

Вопрос 14.7.3

14.7. Решённый пример B: что именно делает коэффициент $\beta$

Какие позиции обычно входят в сумму логарифмов вероятностей DPO-пары?

Один правильный вариантAВсе позиции, включая общий промпт и дополнение до длины пакетаBТолько первый токен, на котором ответы начинают различатьсяCТокены продолжения; общий промпт и дополнение исключаются маской

A) Все позиции, включая общий промпт и дополнение до длины пакета

B) Только первый токен, на котором ответы начинают различаться

C) Токены продолжения; общий промпт и дополнение исключаются маской

Ответ и разбор

Правильный ответ: C. Предпочтительный и отклонённый ответы имеют один и тот же промпт. Учебный контракт суммирует логарифмы вероятностей только по токенам ответа и явно маскирует дополнение.

Вопрос 14.7.4

14.7. Решённый пример B: что именно делает коэффициент $\beta$

Чему равен модуль производной DPO по z при z<0?

Один правильный вариантAБольше 0.5, стремится к 1 при z → −∞BВсегда меньше 0.5CВсегда равен β

A) Больше 0.5, стремится к 1 при z → −∞

B) Всегда меньше 0.5

C) Всегда равен β

Ответ и разбор

Правильный ответ: A. 0.5 соответствует границе z=0. Производная по параметрам дополнительно содержит β и производные логарифмов вероятностей.

Вопрос 14.8.1

14.8. Семейство прямых методов: какую часть контракта они меняют

Почему DPO, IPO, KTO, SimPO и ORPO нельзя считать одним и тем же методом под разными именами?

Один правильный вариантAОни меняют разметку, референс, нормировку или форму целиBРазличие состоит только в лаборатории и годе публикацииCОни используют одну функцию потерь, но разные оптимизаторы Adam

A) Они меняют разметку, референс, нормировку или форму цели

B) Различие состоит только в лаборатории и годе публикации

C) Они используют одну функцию потерь, но разные оптимизаторы Adam

Ответ и разбор

Правильный ответ: A. Например, KTO принимает одиночные бинарные метки, SimPO обходится без отдельной референсной модели, а ORPO объединяет SFT и предпочтения в одной цели.

Вопрос 14.9.1

14.9. RLOO и GRPO: базовая линия из нескольких ответов

Чем базовая линия RLOO отличается от среднего всей группы в GRPO?

Один правильный вариантARLOO использует предыдущую группу, а GRPO — текущуюBRLOO исключает текущий ответ из его собственной базовой линииCRLOO усредняет логарифмы наград, а GRPO — сами награды

A) RLOO использует предыдущую группу, а GRPO — текущую

B) RLOO исключает текущий ответ из его собственной базовой линии

C) RLOO усредняет логарифмы наград, а GRPO — сами награды

Ответ и разбор

Правильный ответ: B. Leave-one-out базовая линия строится по остальным ответам. Среднее всей группы включает награду текущего ответа, поэтому свойства двух оценок нельзя автоматически считать одинаковыми.

Вопрос 14.9.2

14.9. RLOO и GRPO: базовая линия из нескольких ответов

Как следует обработать GRPO-группу с одинаковыми наградами?

Один правильный вариантAВзять среднее предыдущей группы и продолжить без изменения целиBДобавить ε в знаменатель и считать, что относительный сигнал восстановленCЯвно исключить группу или назначить нулевые преимущества: относительного сигнала нет

A) Взять среднее предыдущей группы и продолжить без изменения цели

B) Добавить ε в знаменатель и считать, что относительный сигнал восстановлен

C) Явно исключить группу или назначить нулевые преимущества: относительного сигнала нет

Ответ и разбор

Правильный ответ: C. При нулевой дисперсии z-нормировка не определена. Малое ε предотвращает NaN, но не создаёт информации; поэтому поведение должно быть частью явного контракта обучения.

Вопрос 14.9.3

14.9. RLOO и GRPO: базовая линия из нескольких ответов

Какая политика стоит в знаменателе отношения для клиппированной цели?

Один правильный вариантAПолитика, которой собрана текущая порция траекторийBОбязательно исходная политика после SFTCПолитика после следующего обновления

A) Политика, которой собрана текущая порция траекторий

B) Обязательно исходная политика после SFT

C) Политика после следующего обновления

Ответ и разбор

Правильный ответ: A. Старая политика описывает сэмплер. Референс служит отдельной точкой отсчёта для KL.

Вопрос 14.9.4

14.9. RLOO и GRPO: базовая линия из нескольких ответов

Все награды равны, преимущества обнулены. Может ли обновление продолжаться?

Один правильный вариантAДа, через отдельный KL-членBНет, любой градиент равен нулюCДа, потому что деление на ноль создаёт сигнал

A) Да, через отдельный KL-член

B) Нет, любой градиент равен нулю

C) Да, потому что деление на ноль создаёт сигнал

Ответ и разбор

Правильный ответ: A. Нулевое преимущество убирает член градиента политики; KL не обязан быть нулевым.

Вопрос 14.10.1

14.10. Решённый пример D: учебная анатомия памяти

В учебной модели памяти для 8.03B как сравниваются PPO и DPO?

Один правильный вариантA269.2 GiB и 134.6 GiB в заданной учебной конфигурацииB134.6 GiB против 119.7 GiB независимо от числа ролей и реализацииC119.7 GiB у обоих алгоритмов во всех конфигурациях

A) 269.2 GiB и 134.6 GiB в заданной учебной конфигурации

B) 134.6 GiB против 119.7 GiB независимо от числа ролей и реализации

C) 119.7 GiB у обоих алгоритмов во всех конфигурациях

Ответ и разбор

Правильный ответ: A. Это сценарная анатомия постоянных состояний: 16 байт на параметр обучаемой сети и 2 байта на параметр замороженной копии. Она не учитывает активации, KV-состояния, шардирование и совместные основы.

Вопрос 14.10.2

14.10. Решённый пример D: учебная анатомия памяти

Когда фиксированный DPO-набор позволяет убрать референсную модель из памяти во время оптимизации?

Один правильный вариантAКогда референс квантуют до четырёх бит на каждом шагеBКогда его логарифмы вероятностей заранее вычислены для всех парCКогда текущая политика и референс всегда разделяют одни веса

A) Когда референс квантуют до четырёх бит на каждом шаге

B) Когда его логарифмы вероятностей заранее вычислены для всех пар

C) Когда текущая политика и референс всегда разделяют одни веса

Ответ и разбор

Правильный ответ: B. Для неизменного набора пар значения референса можно вычислить один раз. Тогда во время обучения остаётся одна обучаемая сеть; это свойство рабочего процесса, а не любой реализации DPO.

Вопрос 14.11.1

14.11. Решённый пример E: почему сбор траекторий становится узким местом

Почему генерация траекторий может доминировать по времени в онлайн-RL?

Один правильный вариантAОна обязательно выполняется на CPU, пока ускорители простаиваютBКаждая траектория требует обучения новой модели вознагражденияCАвторегрессионный decode создаёт токены последовательно

A) Она обязательно выполняется на CPU, пока ускорители простаивают

B) Каждая траектория требует обучения новой модели вознаграждения

C) Авторегрессионный decode создаёт токены последовательно

Ответ и разбор

Правильный ответ: C. В сценарии модуля длинные ответы дают отношение 39.3× между генерацией и одним оценочным проходом обучения. Число зависит от длины, оборудования и пропускной способности, но механизм остаётся тем же.

Вопрос 14.12.1

14.12. После GRPO: какие проблемы исправляют новые методы

Какие проблемы адресуют DAPO и Dr. GRPO?

Один правильный вариантAОтбор групп, клиппинг, нормировку длины и токенную эффективностьBТолько скорость обучения модели вознаграждения на прежней разметкеCВозврат обязательного критика во все варианты группового RL

A) Отбор групп, клиппинг, нормировку длины и токенную эффективность

B) Только скорость обучения модели вознаграждения на прежней разметке

C) Возврат обязательного критика во все варианты группового RL

Ответ и разбор

Правильный ответ: A. DAPO предлагает динамический отбор, асимметричный клиппинг, токенную нормировку и обработку слишком длинных ответов. Dr. GRPO отдельно пересматривает нормировку, создающую нежелательные смещения.

Вопрос 14.12.2

14.12. После GRPO: какие проблемы исправляют новые методы

Длины ответов 1 и 3, значения на токен 2 и 0. Чему равно токенное среднее?

Один правильный вариантA0.5B1C2

A) 0.5

B) 1

C) 2

Ответ и разбор

Правильный ответ: A. Сумма равна 2, число токенов 4. Среднее по ответам было бы 1.

Вопрос 14.15.1

14.15. RLVR, Goodhart и взлом проверяющего сигнала

Почему проверяемая награда не устраняет взлом награды автоматически?

Один правильный вариантAПроверяющий модуль всегда медленнее модели и не успевает оценить ответыBПолитика оптимизирует проверку, а не обязательно исходную задачуCФормальные тесты нельзя применять к математике или программированию

A) Проверяющий модуль всегда медленнее модели и не успевает оценить ответы

B) Политика оптимизирует проверку, а не обязательно исходную задачу

C) Формальные тесты нельзя применять к математике или программированию

Ответ и разбор

Правильный ответ: B. Проверяемость делает сигнал воспроизводимым, но тесты, правила и ограничения длины могут иметь лазейки. Поэтому нужны скрытые задачи, аудит траекторий и оценка самого проверяющего модуля.

Вопрос 14.16.1

14.16. Constitutional AI, R1 и интерактивные среды

Каков опубликованный маршрут Constitutional AI?

Один правильный вариантAКонституция только фильтрует исходный набор данных до SFTBПринципы добавляются как системная инструкция к каждому пользовательскому запросуCКритика и пересмотр по принципам, затем RLAIF с моделью награды и RL

A) Конституция только фильтрует исходный набор данных до SFT

B) Принципы добавляются как системная инструкция к каждому пользовательскому запросу

C) Критика и пересмотр по принципам, затем RLAIF с моделью награды и RL

Ответ и разбор

Правильный ответ: C. Метод включает этап обучения с учителем критики и пересмотра, а затем RLAIF: модель формирует предпочтения по конституции, по ним обучается модель вознаграждения и выполняется RL. Человеческий труд уменьшается, но не исчезает.