Модуль 6. LLM как политика: токены, логарифмы вероятностей и KL

Версия материала: 2026.11
Фактический снимок: 2026-08-05
Язык: RU
Основная практика: уровень A — браузер и центральный процессор (CPU); уровень B — бесплатный Colab T4
Структура: 5 уроков, 25 шагов
Ориентировочное время: 8–10 часов без факультативного запуска реальной модели

Первые пять модулей дали общий аппарат RL. Теперь свяжем его с конкретными объектами авторегрессионной модели: токенами, логитами, масками, логарифмами вероятностей и настройками генерации. Именно здесь обычно обнаруживаются ошибки, которые не видны в компактной формуле PPO или GRPO: сдвиг на один токен, неверная маска ответа, вероятность не той политики или смешение естественного завершения с ограничением длины.

Практическая задача модуля формулируется одной фразой:

Как сделать так, чтобы генератор, сохранённый роллаут и тренер говорили об одной и той же политике и об одних и тех же токенах?

В этом модуле KL означает дивергенцию Кульбака—Лейблера (Kullback–Leibler divergence). Полный информационно-теоретический разбор находится в курсе Information Theory for ML, Модуле 3 «Кросс-энтропия и KL-дивергенция» (it_ml.module_03_cross_entropy_kl). Здесь мы не перекладываем на соседний курс обязательную часть объяснения: KL выводится и измеряется прямо в токеновой постановке, а межкурсовая ссылка нужна для более глубокого понимания энтропии, перекрёстной энтропии и кодовой интерпретации.

После прохождения модуля вы сможете:

1. задать токеновый марковский процесс принятия решений (Markov decision process, MDP) для обычной генерации и точно указать границу этой модели;
2. различать естественное завершение ответа, остановку по правилу и техническое усечение;
3. извлекать логарифмы вероятностей выбранных токенов из тензора логитов без ошибки индексации;
4. вычислять логарифм вероятности ответа, среднее по токенам и перплексию;
5. объяснять цепное правило для KL между авторегрессионными политиками;
6. различать точный условный KL, выборочный логарифм отношения и оцениватели k1, k2 и k3;
7. восстанавливать фактическую политику поведения после температуры, top-k, top-p и других преобразований логитов;
8. проверять, относятся ли сэмплирование, сохранённые логарифмы вероятностей и знаменатель отношения к одной политике;
9. описывать минимальный контракт пакета роллаутов для обучения LLM с проверяемой наградой;
10. воспроизводить эти измерения на открытой модели с 0,6 млрд параметров в Colab.

Оцениваемая практика объединяет задания и решения, которые открываются после попытки. Русскоязычный вычислительный маршрут даёт исполняемую проверку, а реестр проверяемых утверждений и первичных источников находится в Module_6_Sources.md.

---

Практический маршрут. После лекции идут оцениваемые задания, решения, открывающиеся после попытки, и исполняемая практика. Само объяснение остаётся самодостаточным.

Урок 6.1. Токеновый MDP без скрытых предположений

Урок 6.1. Токеновый MDP без скрытых предположений

1. Зачем снова говорить, что LLM является политикой
2. Формальная модель обычного текстового ответа
3. EOS, стоп-токены, стоп-строки и ограничение длины
4. Вероятность ответа переменной длины
5. Где находится награда в токеновой траектории

далее — 3 проверочных шага

Шаг 6.1.1 — Зачем снова говорить, что LLM является политикой

В Модуле 1 мы установили точное соответствие

$$\pi_\theta(y_t\mid x,y_{<t}),$$

которое задаёт распределение следующего токена. Тогда эта формула вводила язык RL. Теперь она становится интерфейсом между четырьмя частями работающей системы:

1. модель вычисляет логиты;
2. процедура генерации превращает логиты в фактическое распределение действий;
3. движок роллаутов выбирает токен и сохраняет данные;
4. тренер повторно вычисляет вероятности и строит функцию потерь.

Ошибка на любом переходе меняет математическую политику, даже если программа продолжает выполняться. Поэтому нам нужен не повтор лозунга, а ответ на инженерный вопрос:

Какой именно объект в тензорах и журналах является политикой, действительно породившей токены?

Схема разделяет два этапа. Трансформер выдаёт базовые логиты, но действие выбирается только после всех преобразований генерации. Если преобразований нет, политика поведения совпадает с softmax базовых логитов. В реальной системе это равенство нужно проверять, а не предполагать.

---

Шаг 6.1.2 — Формальная модель обычного текстового ответа

Пусть $x$ — подготовленный запрос, включая системное сообщение и шаблон диалога, а $y_{<t}=(y_1,\ldots,y_{t-1})$ — уже сгенерированный префикс ответа. Определим

$$s_t=(x,y_{<t}), \qquad a_t=y_t.$$

Для чистой авторегрессионной генерации переход детерминирован:

$$s_{t+1}=s_t\oplus a_t,$$

где $\oplus$ означает дописывание токена к префиксу. Случайность находится в политике следующего токена, а не в операции конкатенации.

В этой абстракции:

• пространство действий состоит из допустимых идентификаторов токенов;
• начальное состояние определяется распределением запросов и правилами их подготовки;
• промежуточные награды часто равны нулю;
• завершённому ответу назначается терминальная награда;
• горизонт случаен, если политика может выбрать токен завершения.

Слово «допустимых» существенно. Словарь токенизатора и фактическое множество действий могут не совпадать. Маска способна запрещать отдельные токены; EOS может быть недоступен до минимальной длины; декодирование с грамматическим ограничением разрешает только продолжения, совместимые с текущим префиксом.

Граница модели. Состояние $(x,y_{<t})$ достаточно только тогда, когда между токенами не изменяется скрытое внешнее состояние. Вызовы инструментов, результаты поиска, ответы пользователя и постоянная память должны входить в состояние или наблюдение. Эту постановку подробно разберём в Модуле 11.

Архитектурное расширение: токенизация, специальные токены и шаблоны диалога подробнее рассматриваются в курсе Modern LLMs, Модуле 2 «Токенизация и эмбеддинги» (modern_llms.module_02_tokenization). Здесь $x$ считается уже подготовленной токеновой последовательностью, поэтому корректность шаблона входит в контракт данных, но не выводится заново.

---

Шаг 6.1.3 — EOS, стоп-токены, стоп-строки и ограничение длины

Токен конца последовательности (end of sequence, EOS) может быть обычным действием политики. Если контракт задачи считает выбранный моделью EOS естественным окончанием ответа, переход после этого действия терминален. Важно не превращать это удобное соглашение в универсальное правило для любой причины, по которой движок перестал выдавать токены.

Здесь полезно разделить два слоя метаданных.

1. stop_reason сообщает, почему движок остановился: eos, stop_token, stop_string, length, timeout, safety и так далее.
2. terminated и truncated сообщают, как эту границу понимает RL-задача. terminated=True означает, что продолжения в данной задаче нет; truncated=True — что сбор траектории оборван внешним пределом, хотя процесс мог бы продолжиться.

Поэтому нельзя считать всякую стоп-строку терминалом по одному только факту срабатывания строки остановки. Например, маркер </answer> может быть содержательным завершением, а строка, добавленная транспортным слоем для остановки потока, — лишь инженерным ограничением. Точно так же фильтр безопасности может завершать продуктовый запрос, но для исследуемой среды оставаться внешним прерыванием.

Длина возвращённого текста причинность не восстанавливает. Ответ мог естественно закончиться ровно на лимите, быть обрезан лимитом, завершиться многотокеновым шаблоном или потерять служебный EOS при декодировании. Поэтому машиночитаемая причина остановки хранится независимо от флагов границы эпизода.

Шаг 6.1.4 — Вероятность ответа переменной длины

Для $y=(y_1,\ldots,y_T)$ авторегрессионная факторизация имеет вид

$$\pi_\theta(y\mid x) = \prod_{t=1}^{T} \pi_\theta(y_t\mid x,y_{<t}).$$

Если последовательность считается полной только после EOS, этот токен входит в произведение как последнее действие. Движок может удалить его из показываемой строки, но идентификатор EOS должен оставаться в машинной записи, если его вероятность участвует в целевой функции.

После логарифмирования произведение превращается в сумму:

$$\log \pi_\theta(y\mid x) = \sum_{t=1}^{T} \log \pi_\theta(y_t\mid x,y_{<t}).$$

Суммарный логарифм вероятности обычно уменьшается с длиной: каждый множитель не превосходит единицы, а каждый логарифм неположителен. Поэтому ответы разной длины нельзя сравнивать по сумме без дополнительного соглашения. Ниже мы будем делить её на число активных токенов, но и такая нормировка не устраняет все эффекты длины и токенизации.

Стоп-строка создаёт отдельный пограничный случай: вывод может завершиться после многотокенового шаблона, а не одного выделенного действия. Строгая вероятностная модель должна либо включить правило остановки в среду, либо сохранить исходные токены до удаления стоп-строки.

---

Шаг 6.1.5 — Где находится награда в токеновой траектории

В задачах с проверяемым результатом часто используется разреженная терминальная награда:

$$r_{t+1}=0\quad (t<T-1), \qquad r_T=R(x,y).$$

Например, $R$ может показывать, прошёл ли сгенерированный код тесты или совпал ли числовой ответ с эталоном. При $\gamma=1$ каждый токен ответа получает одну и ту же накопленную награду $R(x,y)$.

Из этого не следует, что все токены были одинаково полезны. Общий скаляр — свойство оценивателя, а не причинное разложение вклада. В Модуле 4 мы видели, как градиент вероятности полного ответа умножает одним коэффициентом сумму токеновых логарифмов вероятностей. В Модуле 9 вернёмся к групповым оценкам, нормировке по длине и распределению вклада между токенами.

Система может добавлять и локальные слагаемые:

• стоимость каждого нового токена;
• штраф за неверный формат;
• промежуточный результат инструмента;
• токеновую KL-регуляризацию;
• оценку процесса рассуждения.

Каждое такое слагаемое меняет задачу. Поэтому журнал должен отдельно хранить исходную награду задачи, слагаемые формирования награды и регуляризаторы.

---

Урок 6.2. Логиты, маски и логарифмы вероятностей

Урок 6.2. Логиты, маски и логарифмы вероятностей

1. От логитов к вероятности выбранного токена
2. Сдвиг на один токен и маска ответа
3. Сумма, среднее и перплексия
4. Три роли логарифмов вероятностей
5. Численная точность и воспроизводимый протокол

далее — 4 проверочных шага

Шаг 6.2.1 — От логитов к вероятности выбранного токена

Пусть модель возвращает логиты $z_t\in\mathbb{R}^{V}$ в позиции $t$, где $V$ — размер словаря. Базовое распределение равно

$$\pi_\theta(v\mid s_t) = \frac{\exp z_{t,v}} {\sum_{u=1}^{V}\exp z_{t,u}}.$$

На практике обычно нужен логарифм вероятности

$$\log \pi_\theta(v\mid s_t) = z_{t,v}-\operatorname{LSE}(z_t),$$

где

$$\operatorname{LSE}(z_t) = m_t+\log\sum_u\exp(z_{t,u}-m_t), \qquad m_t=\max_u z_{t,u}.$$

Вычитание максимума не меняет распределение и предотвращает переполнение экспоненты. В PyTorch torch.log_softmax выполняет нормировку, а gather выбирает столбец действия, которое действительно было совершено.

Важно не смешивать три тензора:

1. логиты всех токенов формы $[B,L,V]$;
2. логарифмы вероятностей всех токенов той же формы;
3. логарифмы вероятностей выбранных токенов формы $[B,L]$.

Для PPO или GRPO обычно достаточно третьего тензора и маски ответа. Полные распределения требуются, например, для точного условного KL по словарю.

---

Шаг 6.2.2 — Сдвиг на один токен и маска ответа

В позиции $i$ каузальная модель предсказывает следующий токен $u_{i+1}$. Для последовательности

$$(u_0,u_1,\ldots,u_{L-1})$$

правильные пары имеют вид

$$\text{logits}[:,i,:] \longleftrightarrow \text{input\_ids}[:,i+1].$$

Типичная реализация:

shifted_logits = logits[:, :-1, :]
shifted_tokens = input_ids[:, 1:]
logp_all = torch.log_softmax(shifted_logits.float(), dim=-1)
selected_logp = logp_all.gather(-1, shifted_tokens[..., None]).squeeze(-1)

Затем применяется маска. Она отвечает на содержательный вопрос: какие действия относятся к политике, оптимизируемой этой целевой функцией?

Для обычного SFT или RL на уровне ответа:

• системные токены и токены запроса не входят в функцию потерь политики;
• токены ответа входят;
• заполнение пакета не входит;
• EOS входит, если его выбрала модель и он сохранён в последовательности;
• позиции после завершения не входят.

Ошибка на один токен опасна тем, что формы всех тензоров могут оставаться правдоподобными, хотя каждому действию назначена вероятность соседнего токена. Поэтому хороший тест использует короткий пример, который можно проверить вручную, а не только сравнивает формы.

---

Шаг 6.2.3 — Сумма, среднее и перплексия

Пусть $m_t\in\{0,1\}$ — маска активных токенов, а $\ell_t$ — логарифм вероятности выбранного токена. Определим

$$L_{\mathrm{seq}} = \sum_t m_t\ell_t,$$ $$\bar\ell = \frac{\sum_t m_t\ell_t}{\sum_t m_t},$$

а перплексию (perplexity, PPL) — как

$$\operatorname{PPL}=\exp(-\bar\ell).$$

При натуральных логарифмах PPL равна экспоненте средней перекрёстной энтропии в натах на токен. Если каждый активный токен имел вероятность $1/K$, то PPL равна $K$. Отсюда возникает интуиция «эффективного числа равновероятных вариантов», но для общего распределения это не буквальный подсчёт вариантов.

Нужно помнить три ограничения.

1. PPL зависит от токенизатора. Разные токенизации дают разное число токенов, поэтому PPL не является универсальной физической шкалой.
2. PPL зависит от маски и шаблона. PPL только по ответу, по всему диалогу и по содержательным токенам — разные величины.
3. PPL не измеряет полезность ответа. Модель может назначать большую вероятность шаблонному или неверному продолжению.

Математическое расширение: перекрёстная энтропия, KL и интерпретация через длину кода подробно рассматриваются в курсе Information Theory for ML, Модуле 3 «Кросс-энтропия и KL-дивергенция» (it_ml.module_03_cross_entropy_kl).

---

Шаг 6.2.4 — Три роли логарифмов вероятностей

В системах дообучения после предобучения рядом часто находятся несколько моделей или снимков одной модели.

• $\log\pi_{\mathrm{old}}$ — вероятность по политике, которая собрала роллаут. Она входит в знаменатель отношения PPO.
• $\log\pi_\theta$ — вероятность по текущим обучаемым параметрам. Тренер вычисляет её заново и проводит через неё градиент.
• $\log\pi_{\mathrm{ref}}$ — вероятность по замороженной базовой политике. Она задаёт KL-якорь.

Эти величины нельзя переставлять местами только потому, что все модели начинали с одного чекпойнта.

Есть и два разных режима вычисления.

1. Сэмплирование. Токен выбирается из фактической политики поведения, а его логарифм вероятности сохраняется во время роллаута.
2. Повторная оценка известной последовательности. Вся последовательность проходит через модель с подстановкой истинного префикса (teacher forcing), после чего вероятности выбранных токенов извлекаются параллельно.

В идеальной синхронной системе повторно вычисленный $\log\pi_{\mathrm{old}}$ совпадает с сохранённым. В распределённой системе они могут различаться из-за другой версии весов, порядка обработчиков, численной точности или особенностей движка генерации. Небольшая разность не обязательно означает ошибку, но её нужно измерить и объяснить.

---

Шаг 6.2.5 — Численная точность и воспроизводимый протокол

Различия логарифмов вероятностей могут накапливаться на длинной последовательности. Редкость сама по себе не усиливает равномерно ограниченную ошибку логитов: если $\max_i|\Delta z_i|\le\epsilon$, то $|\Delta\log p_i|\le2\epsilon$ для любого токена при softmax без усечения. Воспроизводимый протокол фиксирует:

• точный идентификатор и commit либо revision весов модели;
• идентификатор и revision токенизатора;
• применённый шаблон диалога и режим его вызова;
• все преобразования логитов и их порядок;
• тип данных для log_softmax и накопления сумм;
• параметры генерации, случайное зерно и причину остановки;
• версии движка генерации, Transformers, TRL и обучающего контура.

Практичная защита — выполнять нормировку softmax и накопление длинных сумм как минимум в 32-битном формате с плавающей точкой (32-bit floating point, FP32), даже если основная матричная арифметика идёт в bfloat16 (BF16). Это не гарантирует побайтового совпадения разных ядер и устройств, но устраняет один распространённый источник ненужной погрешности.

Интерфейсы движков различаются по объёму возвращаемой информации. Актуальная документация vLLM указывает, что при logprobs в результат включается выбранный токен, даже если он не входит в запрошенное число наиболее вероятных альтернатив; значение -1 запрашивает логарифмы вероятностей всего словаря, если это разрешено лимитами движка. Это удобно, но может быть дорого по памяти и передаче данных. Семантику поля всё равно нужно сверять с конкретной версией программного интерфейса.

В Hugging Face Transformers выбранные при генерации оценки можно извлечь через compute_transition_scores. Для сопоставления с нормированными токеновыми логарифмами вероятностей в учебном ноутбуке используется normalize_logits=True, а затем выполняется независимая повторная оценка с подстановкой истинного префикса. Совпадение двух путей — более сильная проверка, чем одна правдоподобная таблица чисел.

Инженерное расширение: кэш ключей и значений (key–value cache, KV-кэш), пакетная генерация и устройство эффективного инференса подробно рассматриваются в курсе Modern LLMs, Модуле 10 «KV-кэши и эффективный инференс» (modern_llms.module_09_inference).

Урок 6.3. KL относительно базовой политики

Урок 6.3. KL относительно базовой политики

1. Цена отклонения, а не сертификат качества
2. Цепное правило для KL последовательностей
3. Точный условный KL и выборочный логарифм отношения
4. Оцениватели k1, k2 и k3
5. Оценить число и продифференцировать нужную цель — разные задачи

далее — 4 проверочных шага

Шаг 6.3.1 — Цена отклонения, а не сертификат качества

Для фиксированного запроса $x$ рассмотрим

$$J_x(\theta) = \mathbb{E}_{y\sim\pi_\theta(\cdot\mid x)}[R(x,y)] - \beta D_{\mathrm{KL}} \!\left( \pi_\theta(\cdot\mid x) \middle\| \pi_{\mathrm{ref}}(\cdot\mid x) \right).$$

Первое слагаемое поощряет награду. Второе делает отклонение от базовой политики платным. Коэффициент $\beta>0$ задаёт компромисс.

KL-якорь может:

• ограничивать скорость изменения распределения ответов;
• сохранять часть поведения исходной модели;
• уменьшать стимул уходить в крайние области, где оцениватель награды ненадёжен;
• служить диагностикой дрейфа.

Малый KL не доказывает истинность, безопасность или полезность. Базовая политика может ошибаться, а небольшое изменение вероятности способно существенно повлиять на редкое, но важное поведение. Это также не то же самое, что пессимизм офлайн-RL из Модуля 5: пессимизм реагирует на неопределённые значения вне покрытия данных, а KL назначает геометрическую цену изменению распределения.

Полный вариационный вывод KL-регуляризованного оптимума дан в курсе Information Theory for ML, Модуле 8 «Максимальная энтропия, экспоненциальные модели и KL-регуляризация» (it_ml.module_08_maxent_kl_policy). Здесь нас интересует другой слой: что именно измеряется у авторегрессионной LLM и какой градиент потом нужен алгоритму.

---

Шаг 6.3.2 — Цепное правило для KL последовательностей

Для двух авторегрессионных политик $\pi$ и $\pi_{\mathrm{ref}}$

$$\log\frac{\pi(y\mid x)}{\pi_{\mathrm{ref}}(y\mid x)} = \sum_{t=1}^{T} \log \frac{\pi(y_t\mid x,y_{<t})} {\pi_{\mathrm{ref}}(y_t\mid x,y_{<t})}.$$

После взятия ожидания по $y\sim\pi$ получаем KL последовательностей:

$$D_{\mathrm{KL}}(\pi\|\pi_{\mathrm{ref}}\mid x) = \mathbb{E}_{y\sim\pi} \left[ \sum_{t=1}^{T} \log \frac{\pi(y_t\mid s_t)} {\pi_{\mathrm{ref}}(y_t\mid s_t)} \right].$$

Эквивалентная запись:

$$D_{\mathrm{KL}}(\pi\|\pi_{\mathrm{ref}}\mid x) = \mathbb{E}_{y\sim\pi} \left[ \sum_{t=1}^{T} D_{\mathrm{KL}} \bigl( \pi(\cdot\mid s_t) \|\ \pi_{\mathrm{ref}}(\cdot\mid s_t) \bigr) \right].$$

Прочитаем формулу внимательно. Ранний токен меняет не только свой локальный логарифм отношения, но и будущий префикс, а значит, все последующие условные KL. Регуляризация последовательности относится к распределению траекторий, а не к заранее независимым позициям.

При случайной длине можно считать EOS переходом в поглощающее терминальное состояние или суммировать только по активной маске. В обоих случаях сравниваемые распределения должны использовать совместимые правила остановки либо явно включать эти правила в процесс.

---

Шаг 6.3.3 — Точный условный KL и выборочный логарифм отношения

На посещённом префиксе $s_t$ точный условный KL равен

$$D_t = \sum_{v=1}^{V} \pi(v\mid s_t) \log\frac{\pi(v\mid s_t)}{\pi_{\mathrm{ref}}(v\mid s_t)}.$$

Для него нужны оба полных распределения по словарю; он всегда неотрицателен.

Если $a_t$ сэмплируется из $\pi(\cdot\mid s_t)$, можно вычислить

$$\widehat D_t^{(1)} = \log\pi(a_t\mid s_t) - \log\pi_{\mathrm{ref}}(a_t\mid s_t).$$

Условное ожидание этой величины равно $D_t$, но отдельное значение может быть отрицательным. Это не «отрицательный KL», а знакопеременный вклад одного случайного действия.

Вдоль траектории

$$\sum_t\widehat D_t^{(1)} = \log\pi(y\mid x)-\log\pi_{\mathrm{ref}}(y\mid x)$$

является несмещённой оценкой KL последовательностей только когда сама траектория получена из $\pi$. Если данные собрала другая политика поведения $\mu$, нескорректированное среднее оценивает иной объект.

Это различие — точная сумма по действиям на посещённых префиксах против выборочной оценки и по действиям, и по префиксам — будет возвращаться в следующих алгоритмах.

---

Шаг 6.3.4 — Оцениватели k1, k2 и k3

Пусть $x\sim q$, а требуется оценить

$$D_{\mathrm{KL}}(q\|p) = \mathbb{E}_{x\sim q} \left[ \log\frac{q(x)}{p(x)} \right],$$

причём на носителе $q$

$$r(x)=\frac{p(x)}{q(x)}.$$

Три распространённых выборочных значения:

$$k_1=-\log r, \qquad k_2=\frac12(\log r)^2, \qquad k_3=(r-1)-\log r.$$

Неотрицательность $k_3$ следует из неравенства $\log r\le r-1$.

Условия поддержки здесь легко сформулировать слишком небрежно. Чтобы $k_1$ был конечным на сэмплах из $q$, необходимо

$$q\ll p: \qquad q(x)>0\Rightarrow p(x)>0.$$

Для дополнительного тождества

$$\mathbb{E}_{q}[r] = \sum_{x:q(x)>0}q(x)\frac{p(x)}{q(x)} =1$$

нужно также, чтобы $p$ не имело массы вне носителя $q$, то есть $p\ll q$. Поэтому точная несмещённость $k_3$ в данной записи требует общего совместимого носителя — в дискретном случае фактически взаимной абсолютной непрерывности. Если $p$ имеет массу там, где $q=0$, контрольная вариата «не видит» эту массу; если $q>0$, а $p=0$, логарифм отношения бесконечен.

Для обычных softmax-распределений с конечными логитами общий носитель полный. Жёсткое top-k или top-p создаёт нулевые вероятности, поэтому доказательство нужно проверять заново, а не переносить по названию оценивателя.

Синтетический конечный пример показывает обе стороны. Для близких четырёхточечных распределений стандартное отклонение $k_3$ мало. Но при $q=(0.999,0.001)$ и $p=(0.9,0.1)$ редкое событие создаёт тяжёлый хвост отношения: точный KL остаётся конечным, тогда как стандартное отклонение $k_3$ примерно равно $2.98$ против $0.15$ у $k_1$. Это не внешний бенчмарк, а точный расчёт по двум конечным распределениям. Контрольная вариата может уменьшать дисперсию локально, но не является универсальной теоремой о превосходстве $k_3$.

Шаг 6.3.5 — Оценить число и продифференцировать нужную цель — разные задачи

Формулы k1–k3 сначала отвечают на вопрос об оценке значения KL. Из этого не следует, что любую из них можно вставить в вычислительный граф и после автоматического дифференцирования получить градиент нужного KL последовательностей.

Причины две.

1. Сэмплы зависят от параметров политики, но автоматическое дифференцирование через уже выбранный дискретный токен само по себе не учитывает производную распределения сэмплирования.
2. В авторегрессионной модели ранний токен меняет распределение будущих префиксов и всех последующих KL-слагаемых.

Tang и Munos анализируют реализации, в которых скалярный оцениватель имеет нужное ожидание, но непосредственное дифференцирование даёт другой градиент или игнорирует последовательную зависимость. Более поздний анализ KL-регуляризации также подчёркивает, что несмещённость значения, конечность дисперсии и корректность градиента — три отдельных свойства. В этом модуле k1–k3 используются как диагностические величины с остановленным градиентом и численные оцениватели. Конкретная функция потерь должна выводиться из целевого регуляризованного градиента, а не из внешнего вида положительного скаляра.

Снимок 2026-08-05. Текущая документация тренера PPO в библиотеке TRL описывает k1 как базовый вариант для журналирования KL и предлагает k3 как неотрицательную альтернативу, которую документация характеризует как низкодисперсионную. Это описание реализации, а не универсальная теорема: тяжёлые хвосты отношения вероятностей способны сделать дисперсию $k_3$ намного больше. Роль KL в PPO, DPO, RLOO и GRPO связывается с полным контуром дообучения в курсе Modern LLMs, Модуле 14 «Обучение по обратной связи: RLHF, DPO, RLOO и GRPO» (modern_llms.module_12_preference_optimization).

Урок 6.4. Фактическая политика поведения при генерации

Урок 6.4. Фактическая политика поведения при генерации

1. Базовый softmax и политика после декодирования
2. Положительная температура сохраняет полный носитель
3. Top-k и top-p: усечение с перенормировкой
4. Рассогласование логарифмов вероятностей и условие покрытия
5. Практическое правило согласованности

далее — 6 проверочных шагов

Шаг 6.4.1 — Базовый softmax и политика после декодирования

Пусть трансформер выдаёт логиты $z_\theta(s)$. Базовое распределение

$$\pi_\theta(\cdot\mid s)=\operatorname{softmax}(z_\theta(s))$$

может пройти через:

• масштабирование температурой;
• штрафы за повторение;
• запреты токенов;
• грамматические ограничения;
• усечение top-k, top-p или min-p;
• принудительный или запрещённый EOS.

Обозначим все настройки и правила генерации через $\psi$. Тогда фактическая политика поведения равна

$$\mu_{\theta,\psi}(\cdot\mid s) = \mathcal{G}_\psi[z_\theta(s)],$$

и она не обязана совпадать с $\pi_\theta$.

Hugging Face Transformers отделяет обработчики логитов от критериев остановки, а vLLM предоставляет параметры температуры, top-p, top-k, min-p, стоп-токенов и стоп-строк. Порядок операций является частью спецификации движка. Поэтому фраза «сэмплировали при top-p 0.9» неполна без версии и остальных настроек.

---

Шаг 6.4.2 — Положительная температура сохраняет полный носитель

При $\tau>0$

$$\pi_{\theta,\tau}(v\mid s) = \frac{\exp(z_v/\tau)}{\sum_u\exp(z_u/\tau)}.$$

Для фиксированных конечных логитов:

• $\tau<1$ делает распределение острее;
• $\tau>1$ делает его ровнее;
• каждый токен сохраняет положительную вероятность.

Последний пункт важен для отношений вероятностей: положительная температура перераспределяет массу, но не меняет носитель. Нулевая температура — отдельное правило, обычно жадный выбор argmax, а не обычный элемент семейства softmax с положительной температурой.

Логарифм вероятности, записанный при температуре $\tau$, равен

$$\log\pi_{\theta,\tau}(v\mid s) = \frac{z_v}{\tau} - \operatorname{LSE}(z/\tau).$$

Если генерация использовала температуру, а логарифмы вероятностей пересчитаны по немасштабированным логитам, знаменатель отношения будет неверным, хотя выбранный токен допустим в обоих распределениях.

---

Шаг 6.4.3 — Top-k и top-p: усечение с перенормировкой

top-k сохраняет $k$ наиболее вероятных токенов:

$$\widetilde p(v) = \frac{p(v)\mathbf 1\{v\in S_k\}} {\sum_{u\in S_k}p(u)}.$$

top-p, или выборка из ядра (nucleus sampling), сортирует токены по убыванию вероятности и выбирает минимальный префикс $S_p$, масса которого достигает порога $p_0$:

$$\sum_{v\in S_p}p(v)\ge p_0.$$

Затем распределение перенормируется на $S_p$. Выборка из ядра была предложена как динамический способ удалить ненадёжный хвост; размер носителя меняется от позиции к позиции.

Воспроизводимая реализация должна указать:

• как разрешаются равные вероятности;
• включается ли токен, на котором сумма впервые пересекла порог;
• в каком порядке применяются top-k и top-p, если включены оба;
• выполняется ли усечение до или после масштабирования температурой.

В заданиях используется стабильная сортировка по убыванию, при равенстве первым идёт меньший идентификатор токена; затем применяются температура, top-k и top-p.

---

Шаг 6.4.4 — Рассогласование логарифмов вероятностей и условие покрытия

Пусть $S$ — сохранённое множество токенов, а

$$Z_S=\sum_{v\in S}p(v).$$

Для сохранённого токена

$$\log\widetilde p(v) = \log p(v)-\log Z_S.$$

Если токен сэмплировался из $\widetilde p$, но в журнал записали $\log p(v)$, знаменатель ошибочен на $-\log Z_S$. Для токенов вне $S$

$$\widetilde p(v)=0,$$

хотя базовый softmax назначает им конечную вероятность.

Это не просто ошибка округления. Оценивание по данным политики поведения $\mu$ требует покрытия: всякое событие целевой политики, которое оценивается через отношение вероятностей, должно лежать там, где $\mu>0$. Жёсткое усечение может нарушить это условие.

Например, пусть политика поведения сохраняет токены с суммарной базовой массой $0.85$. Корректный логарифм вероятности каждого сохранённого токена выше базового на

$$-\log0.85\approx0.1625.$$

Ошибка повторяется на каждой позиции и экспоненцируется в отношении вероятностей последовательностей.

---

Шаг 6.4.5 — Практическое правило согласованности

Универсального запрета «top-p нельзя использовать при обучении» нет. Более точное требование звучит так:

Данные, сохранённые логарифмы вероятностей и математическая цель должны относиться к одной фактической политике поведения.

Самый простой режим использует полный носитель, фиксированную положительную температуру и отсутствие жёсткого усечения. Тогда отношение определено для каждого сэмплированного токена, а носители базовой политики и политики поведения совпадают.

Если усечение всё же применяется, система должна:

1. сохранять логарифм вероятности после всех преобразований;
2. хранить параметры и порядок преобразований;
3. определить, оптимизируется базовая или преобразованная политика;
4. проверить условие покрытия для выбранного оценивателя;
5. учесть дискретную зависимость границ top-k и top-p от логитов.

Жадное декодирование и лучевой поиск (beam search) являются процедурами поиска, а не обычным сэмплированием из полного стохастического распределения. Они полезны при применении модели, но для стандартного REINFORCE или PPO требуют отдельной формализации. Best-of-N и поиск с верификатором разбираются в Модуле 10.

---

Урок 6.5. Контракт роллаута для RL с проверяемыми наградами

Урок 6.5. Контракт роллаута для RL с проверяемыми наградами

1. Система из пяти компонентов
2. Минимальная схема пакета
3. Где детерминированной конкатенации уже недостаточно
4. Практика уровня B: реальные логиты модели 0.6B
5. Карта модуля

далее — 7 проверочных шагов

Шаг 6.5.1 — Система из пяти компонентов

Чистую систему обучения с проверяемыми наградами (reinforcement learning with verifiable rewards, RLVR) удобно разложить на пять ролей.

1. Выборщик запросов задаёт начальные состояния.
2. Движок роллаутов генерирует ответы из фактической политики поведения.
3. Проверяющая система или модель награды вычисляет обратную связь.
4. Тренер повторно вычисляет вероятности текущей и базовой политик и обновляет параметры.
5. Синхронизация весов передаёт новую версию политики движку.

Такое разложение показывает три вида задержки:

• запросы могут выбираться заранее;
• награда может вычисляться асинхронно;
• движок может продолжать генерацию по более старой версии весов.

Распределённую инфраструктуру разберём в Модуле 12. Сейчас важно определить данные, без которых функцию потерь невозможно даже однозначно записать.

---

Шаг 6.5.2 — Минимальная схема пакета

Один элемент роллаута обычно требует следующих полей.

Часть полей можно восстановить, но тогда результат зависит от внешних версий. Повторная токенизация строки после изменения шаблона способна дать другую последовательность, поэтому безопаснее хранить идентификаторы токенов.

Токеновые логарифмы вероятностей предпочтительнее одной суммы по последовательности: PPO, маски, анализ длины и локальная диагностика требуют позиционной информации.

---

Шаг 6.5.3 — Где детерминированной конкатенации уже недостаточно

Для обычного ответа без инструментов среда действительно может реализовать

$$s_{t+1}=s_t\oplus a_t.$$

После траектории проверяющая система назначает терминальную награду. В такой модели основная случайность ответа исходит от политики и выбора запросов.

Но если действие вызывает инструмент,

$$P(s_{t+1}\mid s_t,a_t)$$

может зависеть от браузера, файловой системы, сети, пользователя или случайности симулятора. Результат инструмента является наблюдением, а не токеном, который модель свободно выбрала. Его нельзя включать в response_mask как действие политики лишь потому, что он записан внутри единого текстового протокола.

Это различие подготавливает центральную тему Модуля 11: градиентная маска должна отделять действия агента от наблюдений среды.

---

Шаг 6.5.4 — Практика уровня B: реальные логиты модели 0.6B

Модуль содержит два отдельных ноутбука:

Оба используют одно вычислительное ядро и три профиля: smoke, full и real-model. Канонический выпуск по умолчанию запускает только локальные синтетические профили; загрузка весов отключена (RUN_REAL_MODEL=False). Поэтому архив воспроизводимо проверяется без сети и GPU, а факультативная ветка реальной модели не маскируется под выполненный выпускной тест.

Для профиля real-model в configs/models.yaml указана публично доступная модель с открытыми весами Qwen/Qwen3-0.6B. Официальная карточка описывает её как каузальную языковую модель с 0,6 млрд параметров, 28 слоями и контекстом 32 768 токенов; версии Transformers ниже 4.51.0 не распознают архитектуру qwen3. Это характеристики карточки модели, а не утверждение о её превосходстве или пригодности для всех задач.

Факультативный запуск:

1. применяет шаблон диалога и сохраняет точные prompt_ids;
2. генерирует короткий ответ с включёнными return_dict_in_generate=True и output_scores=True;
3. извлекает оценки выбранных токенов через compute_transition_scores(..., normalize_logits=True);
4. независимо повторно оценивает ту же последовательность с подстановкой истинного префикса и проверяет сдвиг на один токен;
5. вычисляет сумму, среднее и PPL только по response_mask;
6. сравнивает точный условный KL между двумя температурными распределениями на посещённых префиксах;
7. измеряет носитель top-p и поправку перенормировки;
8. собирает минимальную JSON-запись роллаута вместе с версиями библиотек и параметрами генерации.

Прямой вызов transformers.generate() надёжно сообщает последовательность и оценки, но не предоставляет единый производственный stop_reason с той же семантикой, что API обслуживающего движка. Поэтому ноутбук помечает причину как выведенную из наличия EOS и достигнутой длины. Если нужен явный finish_reason, следует использовать API движка, который его возвращает, и сохранить версию этого контракта.

В реальном профиле обязательно фиксируются разрешённые версии модели и токенизатора, режим шаблона диалога, версии библиотек, устройство, тип данных, параметры генерации и случайное зерно. Результаты могут измениться при любом из этих факторов; проверяются тождества и выравнивание, а не заранее выбранная строка ответа.

Шаг 6.5.5 — Карта модуля

Основной путь данных теперь выглядит так:

$$\text{логиты} \longrightarrow \text{фактическая политика генерации} \longrightarrow \text{токены и старые логарифмы вероятностей} \longrightarrow \text{награда} \longrightarrow \text{повторная оценка текущей и базовой политиками}.$$

Для аудита реализации достаточно семи вопросов.

1. Что является состоянием и действием?
2. Что считается завершением, а что — усечением?
3. Какая позиция логитов дала вероятность каждого токена?
4. Какие позиции входят в response_mask?
5. Какая политика после всех преобразований действительно сэмплировала действия?
6. Относится ли каждый сохранённый old_logprob к этой политике?
7. Сохранены ли версия весов, токенизатор, шаблон и причина остановки?

Три формулы должны восстанавливаться без подсказки:

$$\log\pi(y\mid x)=\sum_t\log\pi(y_t\mid x,y_{<t}),$$ $$D_{\mathrm{KL}}(\pi\|\pi_{\mathrm{ref}}) = \mathbb{E}_{y\sim\pi} \left[ \log\pi(y)-\log\pi_{\mathrm{ref}}(y) \right],$$ $$\log\widetilde p(v)=\log p(v)-\log Z_S \quad\text{для }v\in S.$$

Модуль 7 заполнит следующий блок системы: откуда берётся награда, как строятся данные о предпочтениях, как работает модель Брэдли—Терри и почему качество модели награды нельзя свести к одной точности на отложенной выборке.

---

Практический маршрут

Основной набор содержит 20 упражнений: 8 концептуальных, 6 аналитических и 6 программных микрозадач. Ещё 12 вопросов для проверки знаний разбирают пограничные случаи: семантику остановки, EOS в вероятности последовательности, порядок обработчиков логитов, носители оценивателей и маскирование результатов инструментов. Подробные решения упражнений раскрываются по кнопке.

---

Источники и дальнейшее чтение

Ниже перечислены источники, на которые опираются конкретные инженерные и математические утверждения модуля. Полная карта утверждений, допустимой силы вывода и ограничений находится в Module_6_Sources.md.

1. Hugging Face Transformers: Generation — интерфейс compute_transition_scores, формат оценок генерации и параметры normalize_logits. Нужен для воспроизводимой сверки логарифмов вероятностей выбранных токенов.
2. Hugging Face Transformers: internal generation utilities — разделение обработчиков логитов и критериев остановки. Документация описывает программный интерфейс, но сама по себе не определяет, считать ли конкретную остановку терминалом RL-задачи.
3. vLLM SamplingParams — семантика температуры, top-k/top-p, стоп-правил и logprobs; выбранный токен включается в результат, а -1 запрашивает весь словарь при допустимых лимитах.
4. John Schulman, “Approximating KL Divergence” — вывод k1, k2 и k3 как оценивателей значения KL. Условия поддержки и тяжёлые хвосты нужно проверять отдельно.
5. Tang & Munos, “On a few pitfalls in KL divergence gradient estimation for RL” — почему корректное ожидание скалярной оценки ещё не гарантирует корректный градиент KL в RL.
6. “Rethinking KL Regularization in RLHF: From Value Estimation to Gradient Optimization” — дополнительный анализ носителей, дисперсии отношений и различия между оцениванием значения и оптимизацией градиента.
7. Holtzman et al., “The Curious Case of Neural Text Degeneration” — первичная работа о nucleus sampling; важна для определения top-p, но не доказывает пригодность одной настройки для любого RL-контура.
8. Официальная карточка Qwen3-0.6B — характеристики факультативной открытой модели и минимальная версия Transformers.

Для углубления внутри серии:

• Information Theory for ML, Модуль 3 «Кросс-энтропия и KL-дивергенция» (it_ml.module_03_cross_entropy_kl) — энтропия, перекрёстная энтропия, KL и перплексия;
• Information Theory for ML, Модуль 8 «Максимальная энтропия, экспоненциальные модели и KL-регуляризация» (it_ml.module_08_maxent_kl_policy) — вариационная логика KL-якоря;
• Modern LLMs, Модуль 2 «Токенизация и эмбеддинги» (modern_llms.module_02_tokenization) — токенизаторы, специальные токены и шаблоны;
• Modern LLMs, Модуль 10 «KV-кэши и эффективный инференс» (modern_llms.module_09_inference) — механика эффективной генерации;
• Modern LLMs, Модуль 14 «Обучение по обратной связи: RLHF, DPO, RLOO и GRPO» (modern_llms.module_12_preference_optimization) — место old, current и reference политик в полном контуре обучения.