Модуль 7. Модели награды и данные о предпочтениях

В журнале хранится только chosen/rejected, но исходный порядок A/B потерян. Какие проверки становятся невозможны?

Два множества ответов никогда не сравнивались между собой. Можно ли сравнивать их абсолютные оценки BT?

Почему случайное разбиение строк пар может завысить качество модели награды?

Масштабирование температурой подобрано по той же выборке, на которой сообщается ECE. Что не так?

Две RM имеют одинаковую точность попарного выбора, но разные значения логарифмической потери. Что это означает?

Почему нельзя без проверки усреднять оценки независимо обученных RM?

Значение прокси-награды растёт при увеличении Best-of-N, а независимая полезность после N=32 падает. Какой вывод?

LLM-судья выбирает A в 70% случаев и после перестановки выбирает тот же текст лишь в 55%. Что диагностируется?

Аннотаторы разделились 6:4. Почему жёсткая метка 1 теряет информацию?

Можно ли заменить отдельную модель стоимости на отрицательную награду?

Почему оценка RM только на старых кандидатах недостаточна перед RL?

Когда нельзя взаимозаменять итоговую оценку и оценки шагов?