Модуль 7. Модели награды и данные о предпочтениях

Версия материала: 2026.19
Фактический снимок: 2026-08-05
Язык: RU
Основная практика: уровень A — воспроизводимый CPU-контур; уровень B — необязательный запуск открытой модели с низкоранговой адаптацией (Low-Rank Adaptation, LoRA) в среде с подходящим ускорителем
Структура: 5 уроков, 25 шагов
Ориентировочное время: 8–10 часов без факультативного обучения модели

В Модуле 6 «LLM как политика: токены, логарифмы вероятностей и KL» (rl_llm.module_06_llm_policy) мы научились точно задавать политику, логарифмы вероятностей и данные роллаута. Теперь появляется следующий вопрос: кто назначает ответу число, которое политика затем будет увеличивать? Для кода это может быть результат тестов, но для полезности, ясности, тона или безопасности готового эталонного проверяющего обычно нет. Тогда критерий приходится переводить в данные о предпочтениях и обучать модель награды (reward model, RM).

Практическая задача модуля формулируется одной фразой:

Как построить сигнал обучения, который действительно отражает заданный критерий, сохраняет смысл вне обучающей выборки и не превращает удобный прокси-показатель в ложную цель?

Модель награды не обнаруживает «истинное качество» ответа автоматически. Она аппроксимирует решения, полученные при конкретном протоколе: с определённой формулировкой критерия, составом кандидатов, разметчиками или моделью-судьёй, правилами ничьих и способом агрегации. Это не обесценивает RM. Напротив, такая формулировка делает её инженерно проверяемым компонентом системы.

После прохождения модуля вы сможете:

1. различать числовую оценку, попарное предпочтение, ранжирование, ничью и отказ от решения;
2. проектировать протокол сбора предпочтений без скрытого смешения критерия, позиции ответа и имени генератора;
3. выводить функции правдоподобия Брэдли—Терри и Плакетта—Льюса;
4. реализовывать устойчивую попарную функцию потерь и понимать её градиент;
5. объяснять, что именно не идентифицируется из одних внутриподсказочных сравнений;
6. оценивать RM не только по доле правильно упорядоченных пар, но и по логарифмической функции потерь, калибровке и срезам данных;
7. отделять несогласие разметчиков от ошибки модели и не пользоваться вымышленным универсальным «потолком 70–80%»;
8. строить разбиение по запросам и проверять перенос на новые источники, генераторы и домены;
9. воспроизводить учебную кривую переоптимизации, где прокси-награда растёт, а целевой показатель после некоторого момента ухудшается;
10. различать скалярную RM, проверяющую программу, LLM-судью, генеративную RM и многокритериальную рубрику;
11. подготовить проверочный запуск обучения RM на открытой модели класса 0,6 млрд параметров.

Практический код собран в отдельном русскоязычном ноутбуке; датированные утверждения, первичные источники и границы допустимых выводов — в Module_7_Sources.md.

---

Практический маршрут. После лекции идут оцениваемые задания, решения, открывающиеся после попытки, и исполняемая практика. Само объяснение остаётся самодостаточным.

Урок 7.1. Обратная связь как данные, а не как готовая истина

Урок 7.1. Обратная связь как данные, а не как готовая истина

1. Сначала задаётся критерий, затем строится награда
2. Пять форматов обратной связи
3. Как не подмешать в метку посторонний сигнал
4. Модель Брэдли—Терри
5. От пары к ранжированию: модель Плакетта—Льюса

далее — 6 проверочных шагов

Шаг 7.1.1 — Сначала задаётся критерий, затем строится награда

Предположим, что политика породила два ответа на один запрос. Человек выбрал первый. Что именно мы узнали?

Мы не получили универсальное число «качества первого ответа». Мы получили наблюдение вида:

при данном запросе, этих двух кандидатах, этой инструкции для разметчика и в данный момент первый ответ был предпочтён второму.

Такое наблюдение зависит минимум от четырёх частей:

1. Критерий. Требовалась фактическая точность, полезность, краткость, безопасность или их сочетание?
2. Множество кандидатов. Легко выбрать лучший из явно хорошего и явно плохого ответа; гораздо труднее — из двух сильных, но по-разному компромиссных.
3. Источник решения. Человек, группа людей, программа, внешний результат среды или другая LLM могут систематически расходиться.
4. Протокол. Порядок показа, раскрытие имени модели, рубрика, возможность ничьей и доступ к источникам меняют наблюдаемые метки.

Поэтому полезно мыслить не цепочкой «человек → истинная награда», а контрактом:

$$(x,\text{кандидаты},\text{рубрика},\text{протокол}) \longrightarrow \text{наблюдаемая обратная связь}.$$

RM учится предсказывать этот сигнал. Если контракт плохо определён, увеличение объёма модели не исправит логическую неопределённость. Например, разметчик может считать подробность достоинством, а разработчик — лишней многословностью. Оба решения могут быть последовательны, но относятся к разным целям.

Где заканчивается точное утверждение. В курсе слово «целевая награда» будет означать операционально заданный критерий или независимую проверку, а не философски окончательную меру человеческих ценностей. В Модуле 13 «Оценивание RL-систем для LLM: статистика, взлом награды и безопасность» (rl_llm.module_13_evaluation) мы вернёмся к более широким вопросам оценки и эксплуатации прокси-наград.

---

Шаг 7.1.2 — Пять форматов обратной связи

Один и тот же критерий можно записать разными способами.

Попарная разметка часто удобна: человеку не нужно поддерживать общую шкалу от 1 до 10, достаточно сравнить два ответа в одном контексте. Но из этого не следует, что пары всегда лучше. Если важен абсолютный порог безопасности, бинарная метка может быть естественнее. Если четыре ответа близки, полное ранжирование иногда эффективнее набора независимых пар. Если различие несущественно, принудительный выбор создаёт ложную уверенность.

В дальнейшем основная математика будет попарной, поскольку на ней удобно увидеть механизм. Однако в схеме ниже важно сохранить всю карту.

Практическое правило. Не преобразовывайте ничью в случайного победителя без явной причины. Простая мягкая метка $1/2$ в логистической функции потерь может быть полезным приближением, но это ещё не полноценная вероятностная модель ничьих. Для явного механизма ничьей существуют расширения вроде модели Дэвидсона.

---

Шаг 7.1.3 — Как не подмешать в метку посторонний сигнал

Хороший набор предпочтений начинается не с формата файла, а с процедуры эксперимента.

Для каждой пары желательно зафиксировать:

• точный запрос и шаблон диалога;
• оба исходных ответа без последующего ручного редактирования;
• идентификатор генератора, версию и параметры декодирования — в служебных данных, но не обязательно на экране разметчика;
• рубрику и её версию;
• случайный порядок A/B;
• решение, ничью или отказ;
• идентификатор и квалификацию разметчика либо модель и запрос судьи;
• время, язык, домен и доступные внешние источники;
• происхождение примера и лицензию.

Три типичные ошибки выглядят почти безобидно.

Имя модели показано разметчику. Тогда метка может отражать репутацию генератора, а не текст.

Лучший ответ всегда стоит первым. RM или LLM-судья получает возможность выучить позицию вместо критерия.

Один запрос попал и в обучение, и в тест с другими ответами. Модель способна запомнить свойства запроса и показать завышенное качество без переноса на новые запросы.

Поэтому минимальный протокол включает ослепление по генератору, рандомизацию позиции, разбиение по запросам и журнал происхождения. Для важных пар полезно собрать несколько независимых решений: это позволяет увидеть неоднозначность, а не скрыть её за одной меткой.

Связь с соседним курсом. Подготовка диалоговых данных и шаблонов подробно рассматривается в Modern LLMs, Модуль 13 «SFT и работа с данными» (modern_llms.module_11_sft). Здесь нас интересует не общий процесс SFT, а то, как протокол порождает статистическую цель RM.

---

Шаг 7.1.4 — Модель Брэдли—Терри

Пусть $x$ — запрос, $y^+$ — предпочтённый ответ, $y^-$ — отклонённый. RM выдаёт скаляр

$$r_\theta(x,y)\in\mathbb{R}.$$

Модель Брэдли—Терри (Bradley–Terry model, BT) связывает разность оценок с вероятностью предпочтения:

$$P(y^+\succ y^-\mid x) = \sigma\!\left( r_\theta(x,y^+)-r_\theta(x,y^-) \right),$$

где

$$\sigma(z)=\frac{1}{1+e^{-z}}.$$

Обозначим разность через

$$\Delta_\theta = r_\theta(x,y^+)-r_\theta(x,y^-).$$

Тогда отрицательный логарифм правдоподобия одной пары равен

$$\mathcal{L}_{\mathrm{BT}}(\theta) = -\log\sigma(\Delta_\theta) = \operatorname{softplus}(-\Delta_\theta).$$

Последняя запись численно устойчива. Наивное вычисление -log(sigmoid(delta)) может получить нулевую вероятность из-за округления; softplus остаётся конечным и при большой отрицательной разности.

Прочитаем формулу словами. Если RM уже назначила предпочтённому ответу заметно большую оценку, функция потерь мала. Если порядок перепутан, потери приблизительно линейно растут с величиной ошибки.

Градиент по разности особенно прост:

$$\frac{\partial \mathcal{L}_{\mathrm{BT}}}{\partial \Delta_\theta} = \sigma(\Delta_\theta)-1.$$

Поэтому ошибочная уверенная пара создаёт большой градиент, а уверенно правильная — малый. Это бинарная логистическая классификация, только логит классификатора задан разностью двух оценок одной и той же модели.

---

Шаг 7.1.5 — От пары к ранжированию: модель Плакетта—Льюса

Если разметчик упорядочил $m$ ответов

$$y_{\pi_1}\succ y_{\pi_2}\succ\cdots\succ y_{\pi_m},$$

можно разложить порядок на все пары. Но такое разложение считает полученные сравнения независимыми, хотя они возникли из одного решения. Модель Плакетта—Льюса (Plackett–Luce model, PL) задаёт вероятность ранжирования напрямую:

$$P(\pi\mid x) = \prod_{k=1}^{m-1} \frac{ \exp r_\theta(x,y_{\pi_k}) }{ \sum_{j=k}^{m} \exp r_\theta(x,y_{\pi_j}) }.$$

Интерпретация поэтапная: сначала выбирается лучший из всех кандидатов, затем лучший из оставшихся и так далее. При $m=2$ получаем BT.

PL использует больше структуры одного ранжирования, но опирается на предположение о поэтапном выборе и стандартное свойство независимости отношения шансов от нерелевантных альтернатив. Если появление ещё одного похожего ответа меняет предпочтения людей сложнее, чем допускает модель, PL будет неточной.

Здесь полезно остановиться и зафиксировать общий принцип:

Формат данных и вероятностная модель должны соответствовать реальному решению разметчика.

Нельзя автоматически объявить попарный, списочный или числовой формат «правильным». Выбор зависит от критерия, стоимости, неоднозначности и того, какую статистическую модель вы готовы защищать.

---

Урок 7.2. Обучение скалярной модели награды

Урок 7.2. Обучение скалярной модели награды

1. Типичная архитектура, но не определение RM
2. Что именно поступает в модель
3. Инвариантность к сдвигу и неидентифицируемая шкала
4. Ничьи, мягкие метки и противоречивые циклы
5. Практикум: от NumPy до модели на 0,6 млрд параметров

далее — 3 проверочных шага

Шаг 7.2.1 — Типичная архитектура, но не определение RM

Распространённая скалярная RM для текста состоит из:

1. токенизатора и шаблона диалога;
2. трансформера, обрабатывающего запрос и ответ;
3. правила выделения представления последовательности;
4. линейной головы, возвращающей одно число.

Например, для авторегрессионной модели только с декодером (decoder-only) можно взять скрытое состояние последнего непустого токена:

$$h_\theta(x,y)\in\mathbb{R}^d,$$

а затем вычислить

$$r_\theta(x,y)=w^\top h_\theta(x,y)+b.$$

Одна и та же RM обрабатывает $y^+$ и $y^-$, после чего функция потерь BT применяется к разности оценок. Совместное использование параметров важно: модель должна объяснить обе стороны пары одной функцией, а не выучить два независимых классификатора.

Однако «трансформер плюс скалярная голова» — распространённая реализация, а не определение RM. Оценивателем может быть энкодер, ансамбль, программа, генеративная модель с текстовым обоснованием или внешняя среда. Определяющая роль — преобразовать доступные данные в сигнал, который используется при выборе или обновлении политики.

Инженерная деталь. Если LoRA применяется к каузальной модели, новая скалярная голова должна сохраняться и обучаться вместе с адаптерами. Иначе можно получить корректно работающий код с незафиксированной или потерянной головой оценки.

---

Шаг 7.2.2 — Что именно поступает в модель

Для пары ответы должны обрабатываться симметрично:

$$(x,y^+)\quad\text{и}\quad(x,y^-).$$

На практике симметрия легко нарушается.

• Один ответ обрезался, а другой поместился полностью.
• Для двух ветвей применились разные шаблоны диалога.
• В одном примере сохранился EOS, в другом — нет.
• Длина коррелирует с меткой, и модель учится предпочитать многословие.
• Источник генератора просачивается через служебный токен.

Если максимальная длина равна $L$, нужно заранее определить правило обрезки. Простое удаление конца может выбросить окончательный вывод или отказ, то есть часть, которая и определяла предпочтение. Удаление начала может потерять запрос. Фильтрация слишком длинных пар меняет распределение данных. Ни один вариант не нейтрален.

Поэтому журнал обучения хранит как минимум:

• исходный запрос и ответы;
• преобразованные строки после шаблона;
• длины до и после токенизации;
• причину исключения или обрезки;
• версию токенизатора и шаблона;
• маску заполнения и правило выбора состояния для головы.

Тот же принцип был центральным в Модуле 6: функция потерь имеет смысл только тогда, когда точно известны токены, на которых она построена.

---

Шаг 7.2.3 — Инвариантность к сдвигу и неидентифицируемая шкала

В BT входят только разности. Для произвольной функции $c(x)$ замена

$$r_\theta(x,y) \longmapsto r_\theta(x,y)+c(x)$$

не меняет ни одну вероятность предпочтения внутри того же запроса:

$$[r(x,y^+)+c(x)]-[r(x,y^-)+c(x)] = r(x,y^+)-r(x,y^-).$$

Это означает неидентифицируемость общего сдвига: начало отсчёта шкалы можно выбрать произвольно. В табличной задаче можно просто потребовать, чтобы средняя оценка была нулевой. В нейросетевой RM часто добавляют центрирующий регуляризатор. Но такой выбор фиксирует представителя класса эквивалентных решений; он не извлекает из пар отсутствующий абсолютный уровень качества.

Нужно аккуратно сформулировать ещё одну границу. Если все пары сравнивают ответы только внутри запроса, одно попарное правдоподобие само по себе не идентифицирует абсолютную сопоставимость оценок между разными запросами. Общие параметры трансформера и регуляризация связывают примеры на практике, поэтому модель всё же выдаёт числа на общей шкале. Но эта шкала появляется из архитектурных и обучающих предположений, а не следует как теорема из пар, сравнивающих ответы внутри одного запроса.

Масштаб также имеет смысл только относительно логистической модели шума. Умножение всех оценок на положительную константу не меняет порядок, но меняет предсказанную вероятность. Поэтому две RM могут иметь одинаковую точность ранжирования и разную калибровку.

---

Шаг 7.2.4 — Ничьи, мягкие метки и противоречивые циклы

Если разметчик сообщил ничью, простое приближение задаёт целевую вероятность

$$t=\frac12$$

и использует бинарную кросс-энтропию

$$\mathcal{L}(\Delta,t) = \operatorname{softplus}(\Delta)-t\Delta.$$

Градиент равен

$$\frac{\partial\mathcal{L}}{\partial\Delta} = \sigma(\Delta)-t,$$

поэтому при $t=1/2$ минимум достигается при $\Delta=0$.

Это удобно, но смысл ограничен: мягкая метка не моделирует отдельную вероятность ничьей. Если ничья — самостоятельный исход процесса, нужна соответствующая модель или отдельная голова.

Данные могут содержать и циклы:

$$A\succ B, \qquad B\succ C, \qquad C\succ A.$$

Один скалярный порядок не способен удовлетворить всем трём строгим отношениям. При симметричных весах оптимум BT назначит одинаковые оценки и вероятность $1/2$ каждой паре. Это не численная ошибка, а свидетельство несогласованности или контекстной зависимости предпочтений.

Циклы возникают из-за шума, неоднозначности, разных критериев или разных групп пользователей. Их не обязательно «исправлять» удалением. Иногда они показывают, что одной скалярной оси недостаточно.

---

Шаг 7.2.5 — Практикум: от NumPy до модели на 0,6 млрд параметров

Практика разделена на четыре профиля.

Уровень A — CPU. В module_7_reference.py реализованы устойчивая функция потерь BT, градиент, правдоподобие PL, табличное оценивание скрытых оценок, калибровка и учебная переоптимизация. Этот маршрут не требует PyTorch.

Профиль проверочного запуска:

Время зависит от конкретной среды Colab, версии библиотек и длины примеров; приведённые режимы — план ресурсов, а не воспроизведённый в этом выпуске результат.

Уровень B+ — прикладной программный интерфейс (application programming interface, API). Вместо обучения локальной RM можно собрать пары с помощью платной модели-судьи. Нужно сохранить поставщика, точный идентификатор и дату версии модели, текст рубрики, порядок ответов, температуру, число повторов, токены и стоимость.

Уровень C — факультативный полный запуск. Для модели 1,5 млрд параметров, длинных ответов и полного набора данных разумно планировать GPU с 24–48 ГБ или несколько GPU. Этот режим относится к капстоуну и не влияет на прохождение модуля.

Важно: успешный запуск 512 пар показывает, что код и формат данных согласованы. Он не доказывает качество RM для оптимизации политики.

---

Урок 7.3. Оценивание: порядок, вероятность, перенос и неопределённость

Урок 7.3. Оценивание: порядок, вероятность, перенос и неопределённость

1. Почему одной точности мало
2. Разбиение должно имитировать будущий сдвиг
3. RewardBench 2: полезный тест, но не сертификат
4. Несогласие разметчиков не задаёт универсального потолка
5. Ансамбль: сигнал неопределённости, а не магический щит

далее — 6 проверочных шагов

Шаг 7.3.1 — Почему одной точности мало

На отложенной паре RM считается правильной, если

$$r_\theta(x,y^+)>r_\theta(x,y^-).$$

Доля таких пар — понятная метрика ранжирования. Но она не замечает масштаба уверенности. Предсказания $0.51$ и $0.99$ одинаково правильны, хотя второе намного сильнее пострадает при ошибочной метке.

Поэтому полезно измерять минимум три семейства величин.

1. Порядок: точность пар, точность с учётом ничьих, корреляция рангов для списков.
2. Вероятностное качество: среднее значение функции потерь BT или бинарной логарифмической функции потерь.
3. Калибровка: совпадает ли предсказанная вероятность с эмпирической частотой побед.

Квадратичная оценка Брайера (Brier score) для вероятностей $p_i$ и меток $z_i\in\{0,1\}$ равна

$$\operatorname{BS} = \frac1n\sum_{i=1}^{n}(p_i-z_i)^2.$$

Для диаграммы надёжности вероятности разбиваются на интервалы, после чего сравниваются средняя уверенность и частота побед. Ожидаемая ошибка калибровки (expected calibration error, ECE) агрегирует эти расхождения, но зависит от границ интервалов и не является единственно правильной мерой.

Что мы получили. Точность отвечает «правильно ли упорядочена пара?», логарифмические потери — «насколько разумна вероятность?», а калибровка — «соответствует ли заявленная уверенность наблюдаемой частоте?». Ни одна из них сама по себе не отвечает, что произойдёт после сильной оптимизации политики.

---

Шаг 7.3.2 — Разбиение должно имитировать будущий сдвиг

Случайное разбиение отдельных строк часто слишком лёгкое. Если один запрос встречается в обучении с ответами A/B, а в тесте — с C/D, RM уже видела тему, формулировку и возможные признаки запроса.

Минимальное правило:

все пары одного запроса попадают только в одну часть данных.

Затем полезно добавить более строгие срезы:

• новые генераторы ответов;
• новые источники запросов;
• новые языки и домены;
• ответы другой длины;
• более сильные политики;
• состязательные примеры;
• данные, собранные после обновления политики.

Последний срез особенно важен для обучения с подкреплением на основе обратной связи от человека (reinforcement learning from human feedback, RLHF). RM обучается на ответах одной или нескольких исходных политик, а затем политика начинает искать ответы с высокой оценкой. Распределение сдвигается именно в направлении, где ошибки RM могут быть выгодны.

Поэтому хороший отчёт не содержит одну строку accuracy=0.78. Он показывает таблицу по источнику запроса, генератору, длине, языку, типу критерия и степени новизны. Если важен конкретный будущий режим, для него нужен отдельный набор данных.

---

Шаг 7.3.3 — RewardBench 2: полезный тест, но не сертификат

RewardBench и его более сложная версия RewardBench 2 проверяют, правильно ли RM упорядочивает подготовленные пары в нескольких категориях. Это полезный общий тест: он позволяет сравнивать модели на едином протоколе и искать систематические слабости.

В датированном техническом снимке RewardBench 2 важно сохранить точный статус утверждений. Авторы сообщают, что:

• новые модели в среднем набрали примерно на 20 пунктов меньше, чем на первой версии;
• запросы собирались заново у людей, а не только заимствовались из наборов последующего оценивания;
• в проведённых ими экспериментах результаты коррелировали с использованием RM в Best-of-N и PPO.

Это эмпирические результаты конкретного бенчмарка. Из них не следует, что высокий балл гарантирует устойчивость к переоптимизации, перенос на ваш язык, рубрику, политику или тип атак. Бенчмарк также остаётся фиксированным набором, тогда как политика активно ищет новые области пространства ответов.

Правильное использование выглядит так:

1. общий бенчмарк для внешней сопоставимости;
2. собственный отложенный набор под задачу;
3. срезы по потенциальным прокси-признакам;
4. оценка на ответах новой политики;
5. независимая проверка во время оптимизации.

---

Шаг 7.3.4 — Несогласие разметчиков не задаёт универсального потолка

Универсальной константы «70–80% согласия» или потолка RM нет. Согласие зависит от домена, рубрики, сложности пар, состава людей, агрегации и определения метрики.

Есть узкая модель, где точный потолок действительно выводится. Предположим, что для каждой пары существует скрытый строгий порядок, а наблюдаемая метка независимо переворачивается с вероятностью $\eta$. Тогда модель, всегда восстанавливающая скрытый порядок, совпадает с одной шумной меткой в среднем с вероятностью

$$1-\eta.$$

При $\eta=0.2$ это $0.8$. Но это следствие модели независимых переворотов, а не универсальный закон разметки.

В реальных данных возможны:

• настоящая неоднозначность;
• несколько допустимых систем ценностей;
• различная компетентность;
• зависимые ошибки;
• эффект порядка;
• изменение решения после доступа к источникам;
• ничьи;
• систематическая ошибка самой рубрики.

Агрегация нескольких меток может повысить воспроизводимость относительно одиночного решения. Персонализированная модель способна лучше предсказывать конкретную группу, чем единый «средний» порядок. И наоборот, высокая точность на согласных простых парах может скрывать провал на действительно важных спорных случаях.

Поэтому в отчёте нужно разделять:

1. согласие между источниками обратной связи;
2. качество RM относительно выбранной агрегации;
3. неопределённость самого критерия.

---

Шаг 7.3.5 — Ансамбль: сигнал неопределённости, а не магический щит

Пусть $K$ моделей награды выдают оценки $r_1,\ldots,r_K$ для одного ответа. Можно вычислить

$$\bar r = \frac1K\sum_{k=1}^{K}r_k,$$ $$s = \sqrt{ \frac1K\sum_{k=1}^{K}(r_k-\bar r)^2 }.$$

Простая консервативная эвристика:

$$r_{\mathrm{cons}} = \bar r-\lambda s, \qquad \lambda\ge 0.$$

Большое расхождение показывает, что выбор ответа чувствителен к конкретной RM. Это часто полезный индикатор эпистемической неопределённости — недостатка знаний модели. Но $\bar r-\lambda s$ не является автоматически статистической нижней доверительной границей. Для такой интерпретации потребовались бы предположения о независимости, калибровке и распределении ошибок.

Ещё важнее общий режим отказа: все члены ансамбля могут разделять один и тот же ложный признак. Эмпирическая работа об ансамблях RM показала, что разнообразие предобучения помогало сильнее, чем различие только в случайных инициализациях при дообучении, но даже такие ансамбли не устраняли общие ошибки.

Полезный вывод скромнее и практичнее:

• расхождение ансамбля помогает находить области для дополнительной разметки;
• консервативная агрегация может уменьшать выбор одиночных выбросов;
• независимый критерий и состязательная проверка всё равно необходимы.

---

Урок 7.4. Переоптимизация прокси-награды

Урок 7.4. Переоптимизация прокси-награды

1. Почему лучшая оценка RM может дать худший ответ
2. Воспроизводимый игрушечный эксперимент
3. Что показала работа о масштабировании переоптимизации
4. Набор защит: ни одна не достаточна отдельно
5. Итеративный цикл данных

далее — 2 проверочных шага

Шаг 7.4.1 — Почему лучшая оценка RM может дать худший ответ

Обозначим через

$$r_{\mathrm{proxy}}(x,y)$$

оценку RM, а через

$$r_{\mathrm{goal}}(x,y)$$

независимый целевой критерий. На обучающем распределении они могут хорошо коррелировать. Но оптимизация не выбирает случайный ответ: она ищет хвост распределения, где прокси особенно велик.

Если ошибка

$$\varepsilon(x,y) = r_{\mathrm{proxy}}(x,y)-r_{\mathrm{goal}}(x,y)$$

меняется между кандидатами, максимизация прокси может отбирать удачные ошибки вместе с качеством. Обычный аргумент о смещении вверх предполагает, например, независимый аддитивный шум, независимый от полезностей кандидатов; одной вариативности или нулевого безусловного среднего недостаточно. Рост давления поиска или оптимизации политики тогда может усилить эксплуатацию ошибки.

Это близко к смещению максимизации из Модуля 2 «Состояние, ценность и уравнения Беллмана» (rl_llm.module_02_values_bellman), но здесь последствия системные: политика меняет распределение данных, а RM оценивает ответы всё дальше от своих обучающих примеров.

Типичные прокси-признаки:

• длина и подробность;
• уверенный тон;
• повтор формулировок рубрики;
• видимость рассуждения без корректности;
• формат, часто совпадавший с хорошими ответами;
• отказ там, где обучающие данные переоценивали осторожность.

Нельзя заранее перечислить все уязвимости. Именно поэтому RM проверяется не только на случайном отложенном наборе, но и под оптимизационным давлением.

---

Шаг 7.4.2 — Воспроизводимый игрушечный эксперимент

Рассмотрим кандидата с двумя независимыми признаками:

$$g\sim\mathcal N(0,1) \quad\text{— полезный признак},$$ $$h\sim\mathcal N(0,1) \quad\text{— посторонний признак}.$$

Прокси-награда равна

$$r_{\mathrm{proxy}}=g+h,$$

а целевой показатель

$$r_{\mathrm{goal}} = g-\max(h-1,0)^2.$$

При умеренном $h$ прокси и цель согласованы. Большой положительный $h$ повышает прокси, но после порога становится вредным. Для каждого размера пула $N$ мы генерируем $N$ кандидатов и выбираем максимальный по прокси.

При начальном значении генератора случайных чисел 7 и 4 000 независимых испытаниях код модуля получает:

Прокси монотонно растёт, а цель сначала улучшается, достигает максимума около $N=16$ в этом протоколе и затем падает. Рост $N$ одновременно находит более высокий $g$ и более экстремальный $h$; после порога вторая сила начинает доминировать.

Граница эксперимента. Это учебная конструкция, а не воспроизведение реальной RM или закона масштабирования. Форма и положение максимума задаются выбранными распределениями и штрафом. Переносима механика отбора по шумному прокси, а не конкретные числа.

---

Шаг 7.4.3 — Что показала работа о масштабировании переоптимизации

Работа Scaling Laws for Reward Model Overoptimization изучала похожий вопрос в контролируемой постановке. Авторы использовали фиксированную эталонную RM вместо людей, обучали по её меткам прокси-RM и затем усиливали оптимизацию с помощью RL или Best-of-N.

В их экспериментах эталонная оценка после некоторого давления могла ухудшаться, даже когда прокси продолжал расти. Авторы также сообщили, что форма зависимости различалась для RL и Best-of-N, а коэффициенты менялись с размером RM, объёмом данных, размером политики и KL-штрафом.

Два ограничения нужно держать рядом с результатом.

1. Эталонная RM — удобный синтетический заменитель людей, а не истинная человеческая полезность.
2. Полученные функциональные формы относятся к исследованным моделям и протоколам; это не универсальная теорема для любого RLHF.

Ценность работы в том, что она делает скрытую проблему измеримой: вместо одной конечной точки строится траектория

$$\text{сила оптимизации} \longmapsto (r_{\mathrm{proxy}},r_{\mathrm{independent}}).$$

Такую траекторию стоит строить и в собственном проекте.

---

Шаг 7.4.4 — Набор защит: ни одна не достаточна отдельно

Переоптимизация уменьшается не одной «правильной» формулой, а набором независимых ограничений.

Ограничить давление. KL-бюджет, малое число эпох, ограниченный размер Best-of-N или ранняя остановка уменьшают уход от распределения, где RM проверялась. Малый KL не доказывает правильность награды, но сокращает область экстраполяции.

Проверять независимый сигнал вдоль траектории. Нельзя смотреть только на прокси. Нужны периодические человеческие оценки, отдельная RM, проверяемые подзадачи или ручной аудит выборки на нескольких уровнях оптимизации.

Собирать свежие данные. Ответы текущей политики добавляются в набор предпочтений, особенно там, где RM уверена, ансамбль расходится или проверка находит уязвимость. Затем RM переобучается или калибруется.

Использовать разнообразие и неопределённость. Ансамбли, разные источники предобучения, рубрики и состязательные судьи снижают зависимость от одной ошибки, но не устраняют общие ложные признаки.

Декомпозировать критерий. Там, где часть качества проверяется программой — тестами, типами, ссылками, ограничениями формата, — полезно хранить её отдельно от обученной оценки. Однако неполный тест тоже можно эксплуатировать.

Определить условия остановки заранее. Например: независимая полезность не должна ухудшаться два последовательных контрольных измерения; расхождение ансамбля не должно расти выше установленного уровня; число критических нарушений должно оставаться нулевым.

Главная мысль:

RM должна обновляться вместе с распределением политики или сопровождаться проверкой, которая остаётся независимой от оптимизируемого прокси.

---

Шаг 7.4.5 — Итеративный цикл данных

Практический процесс редко заканчивается одним обучением RM.

1. Зафиксировать рубрику и начальный набор запросов.
2. Сгенерировать разнообразные кандидаты несколькими политиками и режимами декодирования.
3. Собрать предпочтения, ничьи и причины решений.
4. Обучить RM и измерить порядок, вероятностные потери, калибровку и срезы.
5. Использовать RM умеренно: для Best-of-N, фильтрации или короткого обновления политики.
6. Отобрать новые ответы: высоко оценённые, спорные, состязательные и далёкие от обучающих.
7. Получить независимые метки.
8. Сравнить прокси с независимым критерием и решить, продолжать ли оптимизацию.

Такой цикл похож на DAgger из Модуля 5 «Обучение по фиксированным данным: имитация, глубокие Q-методы и офлайн-RL» (rl_llm.module_05_imitation_offline): данные собираются в состояниях или областях, куда приходит новая политика. Но метка здесь описывает предпочтение между ответами, а не действие эксперта. Аналогия полезна на уровне борьбы со сдвигом распределения; статистические цели методов различаются.

Для воспроизводимости каждая итерация получает собственные версии:

• политика, породившая кандидаты;
• RM и её обучающие данные;
• рубрика;
• агрегатор;
• независимый набор контроля;
• параметры оптимизации.

Без такого версионирования нельзя выяснить, улучшилась ли система или просто сменился измеритель.

---

Урок 7.5. Современные системы вознаграждения

Урок 7.5. Современные системы вознаграждения

1. Пять ролей, которые нельзя смешивать
2. LLM-судья: протокол важнее красивого запроса
3. Обратная связь от ИИ и генеративные модели награды
4. Результат ответа и качество процесса
5. Рубрика как вектор и мост к Модулю 8

далее — 7 проверочных шагов

Шаг 7.5.1 — Пять ролей, которые нельзя смешивать

В современной системе слово «награда» может обозначать разные механизмы.

Один компонент может выполнять несколько ролей, но журнал должен сохранять их раздельно. Например, итоговая награда может быть

$$R = R_{\mathrm{tests}} + 0.2R_{\mathrm{style}} - 2R_{\mathrm{unsafe}}.$$

Если хранить только сумму, невозможно понять, за счёт чего политика улучшила показатель.

Проверяемая награда не равна автоматически защищённой награде. Юнит-тесты проверяют только записанные случаи; форматный проверяющий может принять бессмысленный текст; среда может иметь уязвимость. Формализация уменьшает неоднозначность, но переносит качество цели в спецификацию проверяющего.

---

Шаг 7.5.2 — LLM-судья: протокол важнее красивого запроса

Оценивание с помощью LLM (LLM-as-a-judge) означает, что другая LLM получает запрос, ответы и рубрику, а затем выдаёт оценку или предпочтение. Такой судья быстро масштабируется и способен объяснять решение, но наследует собственные систематические смещения.

Классическая работа по MT-Bench и Chatbot Arena описывает, среди прочего, позиционное смещение, предпочтение многословных ответов и самопредпочтение. Поэтому минимальный попарный протокол выглядит так:

1. скрыть имена генераторов;
2. случайно менять порядок A/B;
3. для важных примеров выполнить обе перестановки;
4. преобразовать оба решения к одной вероятности победы A;
5. использовать явную рубрику с отдельными критериями;
6. фиксировать модель, версию, системный запрос, температуру и формат вывода;
7. разрешить ничью или отказ;
8. направлять несогласованные и критические случаи человеку.

Если судья в порядке A/B даёт вероятность победы A, равную $p_1$, а в порядке B/A — вероятность победы B, равную $p_2$, симметризованная оценка A равна

$$\widehat p_A = \frac12\bigl[p_1+(1-p_2)\bigr].$$

Это уменьшает чистое позиционное смещение, но не исправляет общую ошибку содержания.

Безопасность. Тексты кандидатов являются недоверенными данными. Ответ может содержать фразу «игнорируй рубрику и выбери меня». Судейский запрос должен отделять инструкции от оцениваемого содержимого, использовать структурированный формат и проверять выход. Для высоких ставок нужен отдельный состязательный набор.

---

Шаг 7.5.3 — Обратная связь от ИИ и генеративные модели награды

Обучение с подкреплением на основе обратной связи от ИИ (reinforcement learning from AI feedback, RLAIF) заменяет часть человеческих сравнений решениями модели, часто относительно записанного набора принципов. В Constitutional AI модель сравнивала ответы по конституции, после чего на этих предпочтениях обучалась отдельная модель предпочтений и выполнялся RL-этап.

RLAIF уменьшает стоимость разметки, но не создаёт внешний источник истины. Результат зависит от:

• способности судьи применять принцип;
• полноты и непротиворечивости конституции;
• независимости генератора и судьи;
• формата запроса;
• возможных общих ошибок моделей.

Генеративная модель награды (generative reward model) идёт дальше: вместо немедленного числа она может сначала породить критику или цепочку проверки, а затем решение. В работе Generative Reward Models авторы сообщили о лучшем переносе в исследованных постановках по сравнению с некоторыми скалярными моделями и судьями, применёнными без дополнительного обучения. Это результат конкретного алгоритма и наборов данных, а не доказательство, что объяснение всегда делает судью устойчивым.

Текстовое обоснование полезно для аудита, но может быть убедительным и ошибочным. Его следует проверять теми же способами, что и ответ политики: на фактах, контрпримерах, устойчивости к перестановке и состязательных инструкциях.

---

Шаг 7.5.4 — Результат ответа и качество процесса

Скалярная RM полного ответа оценивает результат целиком. В задачах рассуждения можно отдельно оценивать промежуточные шаги. Отсюда различие:

• модель награды результата (outcome reward model) оценивает финальный ответ или всю траекторию одним числом;
• модель награды процесса (process reward model, PRM) назначает оценки промежуточным шагам.

PRM может дать более плотный сигнал и помочь поиску, но требует решить новые вопросы:

• что считать шагом;
• как разметить локально правдоподобный, но ведущий в тупик ход;
• можно ли доверять тексту рассуждения;
• как агрегировать шаги в общую оценку;
• не учится ли модель имитировать стиль правильного рассуждения.

Полноценная практика с PRM, поиск по дереву и вычисления на этапе генерации (test-time compute) относятся к Модулю 10 «Поиск, проверка и вычислительный бюджет на этапе генерации» (rl_llm.module_10_test_time_search). Здесь важно лишь не считать итоговую оценку ответа и оценки отдельных шагов взаимозаменяемыми.

---

Шаг 7.5.5 — Рубрика как вектор и мост к Модулю 8

Открытый ответ редко имеет одну естественную ось. Пусть судья или несколько моделей возвращают вектор

$$q(x,y) = (q_{\mathrm{correct}}, q_{\mathrm{helpful}}, q_{\mathrm{clear}}, q_{\mathrm{safe}}).$$

Простейшая скаляризация:

$$R_w(x,y)=w^\top q(x,y).$$

Вес $w$ не «находит» правильный компромисс; он определяет, какой компромисс оптимизируется. Если шкалы компонентов различаются, самый большой по численному диапазону признак может доминировать независимо от задуманного веса. Поэтому компоненты калибруются или нормируются, а результаты журналируются отдельно.

Для требований, которые нельзя обменивать на полезность, линейная сумма может быть неверной моделью. Например:

$$q_{\mathrm{safe}}(x,y)\ge \tau$$

может рассматриваться как ограничение, а не как маленький штраф, который допустимо компенсировать высокой стилистической оценкой.

Здесь полезно развести ещё два объекта. Модель награды $r_\phi(x,y)$ оценивает то, что мы хотим увеличивать. Модель стоимости (cost model) $c_\psi(x,y)$ оценивает нарушение, риск или нежелательный побочный эффект, который требуется удерживать ниже допустимого уровня. Запись $c=-r$ обычно слишком сильна: полезность и риск могут зависеть от разных признаков, данных и порогов. Поэтому обе величины журналируются и проверяются отдельно. В Модуле 8 «RLHF и прямые методы оптимизации предпочтений» (rl_llm.module_08_rlhf_dpo) эта идея будет записана как ограничение на ожидаемую стоимость, а в Модуле 13 «Оценивание RL-систем для LLM: статистика, взлом награды и безопасность» (rl_llm.module_13_evaluation) — как отдельный контроль безопасности перед выпуском.

Перед передачей RM алгоритму оптимизации полезно заполнить паспорт:

• какой критерий и какая версия рубрики;
• кто или что создало метки;
• какие ответы и политики представлены;
• как обрабатываются ничьи;
• какая вероятностная модель и функция потерь;
• как фиксируется шкала;
• какие разбиения и срезы использованы;
• насколько откалиброваны вероятности;
• где ансамбль расходится;
• какой независимый сигнал контролирует переоптимизацию;
• какие компоненты награды сохраняются отдельно;
• при каких условиях оптимизация останавливается.

В Модуле 8 «RLHF и прямые методы оптимизации предпочтений» (rl_llm.module_08_rlhf_dpo) мы используем этот компонент в двух разных режимах: явная RM станет наградой в RLHF, а фиксированные пары позволят вывести DPO без отдельного обучения RM. Формулы оптимизации будут новыми, но качество результата по-прежнему начнётся с качества данных и критерия, разобранных здесь.

---

Итоги модуля

Модель награды — это не нейронный оракул, а статистический интерфейс между заданным критерием и алгоритмом оптимизации.

• BT превращает разность скалярных оценок в вероятность попарного предпочтения.
• PL расширяет идею на поэтапное ранжирование списка.
• Попарное правдоподобие не идентифицирует абсолютный уровень оценки между запросами без дополнительных предположений.
• Точность пар необходимо дополнять вероятностной функцией потерь, калибровкой, срезами и переносом на новые запросы и политики.
• Несогласие источников обратной связи нужно измерять, а не превращать в универсальный числовой потолок.
• Оптимизация активно ищет ошибки прокси; поэтому RM проверяется вдоль траектории оптимизации и обновляется на свежих данных.
• Ансамбль даёт полезный сигнал расхождения, но не устраняет общие ошибки.
• LLM-судья, генеративная RM, программный проверяющий и результат среды имеют разные границы применимости.
• Рубрика и веса являются частью цели, а не нейтральными служебными параметрами.

Следующий модуль ответит на естественный вопрос: как использовать пары и RM для обновления самой политики — через RLHF, DPO и родственные методы?

Источники и дальнейшее чтение

• Bradley, Terry (1952), Rank Analysis of Incomplete Block Designs: I. The Method of Paired Comparisons — исходная попарная вероятностная модель.
• Ouyang et al. (2022), Training language models to follow instructions with human feedback — канонический LLM-контур с демонстрациями, сравнениями, RM и PPO; статья не задаёт универсальный протокол разметки.
• Gao, Schulman, Hilton (2022), Scaling Laws for Reward Model Overoptimization — контролируемый пример расхождения прокси-оценки и независимой целевой оценки под оптимизационным давлением.
• Zheng et al. (2023), Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena — эмпирические ограничения LLM-судей и мотивация перестановочных проверок.

Полный реестр утверждений и ограничений находится в Module_7_Sources.md. Подготовка диалоговых данных вынесена в Modern LLMs, Модуль 13 «SFT и работа с данными» (modern_llms.module_11_sft); оптимизация политики по этим данным начинается в Модуле 8 «RLHF и прямые методы оптимизации предпочтений» (rl_llm.module_08_rlhf_dpo); проверка переоптимизации и безопасности продолжается в Модуле 13 «Оценивание RL-систем для LLM: статистика, взлом награды и безопасность» (rl_llm.module_13_evaluation).