Модуль 9. RLVR и GRPO: проверяемые награды, групповые оценки и устойчивость

Выберите единственный случай, который сам по себе является RLVR-обучением.

Для бинарной награды вероятность успеха одного ответа равна $p=0.25$, размер группы $G=4$. Вычислите вероятность того, что группа содержит хотя бы один успех и хотя бы одну неудачу.

Ответы собраны политикой версии v17, оптимизация уже выполняется для v19, а KL измеряется относительно замороженной SFT-модели. Какая политика должна стоять в знаменателе отношения вероятностей?

В группе награды равны $[1,1,0,0]$. Найдите преимущества после вычитания среднего и деления на популяционное стандартное отклонение.

Для отношения $\rho=1.35$, преимущества $A=2$ и симметричного интервала $[0.8,1.2]$ найдите неклиппированный и клиппированный члены. Какая ветвь входит в минимум?

Две группы имеют центрированные награды $[-0.1,0.1]$ и $[-1,1]$. Что произойдёт после деления каждой группы на её собственное стандартное отклонение? Почему это не нейтральная операция?

Два ответа имеют одинаковое по модулю преимущество и длины 20 и 200 токенов. Сравните среднее по токенам каждого ответа с одним общим средним по всем активным токенам.

Назовите четыре изменения, объединённые в DAPO, и укажите, почему фраза «мы используем DAPO» недостаточна для воспроизводимости.

Токеновые отношения равны $(1.21,0.81)$. Вычислите длино-нормированное последовательностное отношение GSPO.

Модель создаёт 64 почти одинаковые строки с разной пунктуацией. Средняя токеновая энтропия остаётся высокой, но все решения используют один и тот же ошибочный алгоритм. Какие показатели нужны помимо токеновой энтропии?

Ответ оборван по max_new_tokens без EOS. Почему нельзя автоматически трактовать его как обычный неверный терминал? Назовите два допустимых варианта обработки и их риски.

В учебном прогоне средняя точность на обучающих запросах выросла с 0.31 до 0.41, энтропия уменьшилась примерно вдвое, а на отложенных запросах успех исчез. Какой вывод корректен?