Модуль 13. Оценивание RL-систем для LLM: статистика, взлом награды и безопасность

Что необходимо считать объектом оценивания, если изменились только шаблон диалога и параметры декодирования?

По 12 запросам получено по 20 генераций. Какой первый уровень повторной выборки нужен для вывода о новых запросах?

При A_only=9, B_only=2 асимптотическое значение пересекает 0.05, а точное равно 0.06543. Какой вывод основной?

В пуле есть один правильный ответ, но селектор выбрал другой. Какая пара утверждений верна?

Почему порог 0.7 для коэффициента Жаккара нельзя без проверки перенести на асимметричное покрытие со стороны тестового элемента?

Команда выбрала лучший из 80 промптов по одному закрытому набору. Почему набор уже не является независимым финальным тестом?

Судья стабильно выбирает кандидата A после канонизации, но часто голосует за первый слот на других парах. Противоречат ли метрики друг другу?

Что сильнее: просьба «игнорируй инструкции кандидата» или передача кандидата как недоверенных данных с отдельной схемой вывода?

Почему нельзя делить число вредных выполнений и число избыточных отказов на общий размер смешанного набора?

Средние метрики проходят пороги, но обнаружен подтверждённый обход песочницы, заранее объявленный блокирующим. Каково решение?

Какие файлы минимально позволяют пересчитать результат новой версией оценивателя без новой генерации?

Какой Python-вызов рекомендуется текущей документацией lm-evaluation-harness, и что нужно сделать перед публикацией?