Модуль 1. Введение: Reinforcement Learning для LLM

Ответ: A-3, B-1, C-5, D-2, E-4.

• Состояние описывает текущую ситуацию: клетку или запрос с префиксом.
• Политика задаёт правило выбора: направление в коридоре или распределение токенов.
• Действие — один фактически сделанный выбор.
• Среда определяет переходы и внешние последствия.
• Награда — скалярная обратная связь после перехода или эпизода.

Главная граница здесь проходит между политикой и действием: распределение не равно одному выбранному из него действию.

Ответ: 2.

$\pi_\theta(\cdot\mid s)$ обозначает полное распределение вероятностей над допустимыми действиями. Конкретное $a$ выбирается из этого распределения. Награда появляется как оценка последствия и не является ни действием, ни его вероятностью.

Вариант 4 неверен: стохастичность не означает равномерность. Например, политика может назначать вероятности $0.9$ и $0.1$ двум действиям.

Ответ: A-2, B-3, C-4, D-1.

В токеновой постановке

Это точное соответствие на уровне математической модели выбора действия. Оно не определяет способ, которым были получены веса $\theta$: предобучение по следующему токену, обучение с учителем и RL могут приводить к модели, которая в любом случае задаёт распределение токенов.

Ответы: 1 и 3.

Награда $r_{t+1}$ относится к одному переходу. Накопленная награда

объединяет будущие награды с учётом дисконтирования. При $\gamma=0$ остаётся только ближайший член $r_{t+1}$.

Вариант 2 верен лишь в специальных задачах с единственной ненулевой терминальной наградой и $\gamma=1$. Вариант 4 неверен: при $\gamma=1$ накопленная награда равна обычной сумме наград, а разные эпизоды могут иметь разные суммы.

Ответ: 3.

При сборе данных в онлайн-RL текущая политика участвует в создании следующего набора данных. После обновления меняются частоты действий, посещаемых состояний и наблюдаемых исходов. Награда обычно сообщает результат выбранного действия или траектории, но не полный набор контрфактуальных исходов для всех альтернатив.

Остальные варианты неверны: RL может использовать градиентный спуск и демонстрации, а скалярность функции потерь сама по себе не создаёт задачу принятия решений.

Ответ: A-3, B-4, C-2, D-1.

• Обучение с учителем на демонстрациях (supervised fine-tuning, SFT) максимизирует правдоподобие демонстраций.
• Прямая оптимизация предпочтений (direct preference optimization, DPO) использует фиксированные пары и парную функцию потерь относительно базовой политики.
• Обучение с подкреплением на основе обратной связи от человека (reinforcement learning from human feedback, RLHF), выполняемое с помощью проксимальной оптимизации политики (proximal policy optimization, PPO), собирает роллауты и обновляет политику; типичная схема PPO-RLHF также использует модель награды и критик.
• Best-of-N выбирает кандидата на этапе генерации и сам по себе не меняет параметры.

1. Контекстный бандит. Полный ответ свёрнут в одно действие, после которого приходит итоговая награда.

2. Конечный токеновый марковский процесс принятия решений (Markov decision process, MDP). Состояние — полный префикс, действие — следующий токен.

3. Частично наблюдаемый марковский процесс принятия решений (partially observable Markov decision process, POMDP) или полумарковский процесс (semi-Markov decision process, semi-MDP). Внешнее состояние скрыто, а длительность макродействий различается.

Ни одна абстракция не является «истинной навсегда». Выбор зависит от того, какую механику нужно сделать явной в конкретном выводе.

Ответы: 1 и 3.

DPO использует фиксированные данные, поэтому его можно назвать офлайн-методом в обычном инженерном смысле. Но типичная задача DPO не строится из переходов $(s,a,r,s')$, не выполняет обновления Беллмана и не воспроизводит классическую проблему экстраполяции ценности в той же форме, что офлайн-RL.

Короткая точная характеристика: DPO — прямая офлайн-оптимизация предпочтений, выведенная из постановки RLHF с регуляризацией по дивергенции Кульбака–Лейблера (Kullback–Leibler divergence, KL).

Ответ: 2.

В PPO роллауты обычно создаёт зафиксированная версия политики $\pi_{\text{old}}$. Затем один пакет данных можно обрабатывать в нескольких эпохах по мини-пакетам. Отношение

входит в клиппированную суррогатную цель. Клиппинг убирает стимул к некоторым дальнейшим изменениям отношения, но не задаёт жёсткой границы для фактического отношения или KL. Это протокол, использующий данные текущей или недавней политики, а не обещание применять каждый пример ровно один раз. Клиппинг снижает риск слишком большого шага, но не превращает произвольно старые данные в данные текущей политики.

Ответ: 2.

Обучение с подкреплением с проверяемыми наградами (reinforcement learning with verifiable rewards, RLVR) описывает источник обратной связи: корректность можно проверить программой, тестами, точным ответом или другой автоматической процедурой.

Групповая относительная оптимизация политики (group relative policy optimization, GRPO) описывает способ построить относительные преимущества по группе роллаутов и обновить политику. GRPO часто применяется в RLVR, но эти понятия не тождественны: один режим награды допускает разные алгоритмы, а GRPO может получать и иной скалярный сигнал.

Ответ: 3 — Best-of-N / отбор на этапе генерации.

Параметры модели зафиксированы, поэтому система выполняет поиск и отбор кандидатов, а не обучение политики. Обучающий цикл появится, если оценки или выбранные ответы будут использованы для изменения $\theta$ — например, через SFT, DPO или обновление по градиенту политики на собранных роллаутах.

Ответы: 1 и 3.

Для чистой температурной политики при фиксированных логитах

Это утверждение не распространяется автоматически на весь процесс декодирования с top-$p$, top-$k$, штрафами и скрытыми преобразованиями.

KL измеряет изменение распределения относительно базовой политики. Она может ограничить отклонение, но не доказывает, что модель награды измеряет нужное свойство или что прокси-цель совпадает с истинной целью.

Обратная проверка рекурсией:

В стандартной постановке без модели среды (model-free) от $\theta$ зависят множители политики

Начальное распределение $\rho_0$, динамика среды $P$ и правило награды $P_R$ считаются фиксированными относительно параметров политики. После обновления $\theta$ меняются вероятности действий. Это меняет последующие переходы, посещаемые состояния и в итоге всё распределение $p_\theta(\tau)$. Если сама среда или модель награды обновляется одновременно с политикой, её параметры нужно записать отдельно: это уже более широкая нестационарная система.

Для LLM смысл тот же: обновлённая модель генерирует другой набор ответов, а система с агентом из-за иных действий может попасть в другие состояния внешней среды.

За два шага из центрального состояния возможны четыре равновероятных исхода:

• два движения влево — поглощение в состоянии 0;
• два движения вправо — поглощение в состоянии 4;
• движения в разные стороны — возврат в состояние 2.

Вероятность пережить один двухшаговый блок равна $1/2$. Чтобы не достичь ни одного терминала за 20 действий, нужно пережить десять таких блоков:

По симметрии вероятности закончить слева и справа одинаковы. Поэтому

Значение $0.5$ относится к версии без временного ограничения; оно удобно для интуитивной проверки, но не является точным опорным значением запущенного протокола.

Авторегрессионная вероятность полного ответа равна произведению условных вероятностей:

Её натуральный логарифм:

С другой стороны,

То есть

Одна итоговая награда оценивает весь ответ, но сама не сообщает, какой из трёх токеновых выборов был полезен или ошибочен. Именно поэтому возникает задача оценки вклада отдельных действий.

from __future__ import annotations

import math
import numpy as np


def discounted_return(rewards: list[float], gamma: float) -> float:
    values = np.asarray(rewards, dtype=np.float64)
    if values.ndim != 1 or values.size == 0:
        raise ValueError("rewards must be a non-empty 1D sequence")
    if not np.isfinite(values).all():
        raise ValueError("rewards must be finite")
    if not math.isfinite(gamma) or not 0.0 <= gamma <= 1.0:
        raise ValueError("gamma must lie in [0, 1]")

    result = 0.0
    for reward in values[::-1]:
        result = float(reward) + gamma * result
    return float(result)

Обратная рекурсия избегает явного вычисления степеней и делает один проход: $O(T)$ времени и $O(1)$ дополнительной памяти.

import math
import numpy as np


def softmax_with_temperature(
    logits: np.ndarray,
    temperature: float,
) -> np.ndarray:
    z = np.asarray(logits, dtype=np.float64)
    if z.ndim != 1 or z.size == 0:
        raise ValueError("logits must be a non-empty 1D array")
    if not np.isfinite(z).all():
        raise ValueError("logits must be finite")
    if not math.isfinite(temperature) or temperature <= 0.0:
        raise ValueError("temperature must be finite and positive")

    scaled = z / temperature
    scaled -= scaled.max()
    weights = np.exp(scaled)
    return weights / weights.sum()

Вычитание максимума использует инвариантность softmax к общему сдвигу и предотвращает переполнение. Общий множитель сокращается в числителе и знаменателе, поэтому вероятности не меняются.

import math
import numpy as np

def softmax_with_temperature(logits: np.ndarray, temperature: float) -> np.ndarray:
    z = np.asarray(logits, dtype=np.float64)
    if z.ndim != 1 or z.size == 0 or not np.isfinite(z).all():
        raise ValueError("logits must be a non-empty finite 1D array")
    if not math.isfinite(temperature) or temperature <= 0.0:
        raise ValueError("temperature must be finite and positive")
    scaled = z / temperature
    shifted = scaled - np.max(scaled)
    weights = np.exp(shifted)
    return weights / weights.sum()


def categorical_entropy(probabilities: np.ndarray) -> float:
    p = np.asarray(probabilities, dtype=np.float64)
    if p.ndim != 1 or p.size == 0 or not np.isfinite(p).all():
        raise ValueError("probabilities must be a non-empty finite 1D array")
    if np.any(p < 0.0):
        raise ValueError("probabilities must be non-negative")
    if not math.isclose(float(p.sum()), 1.0, rel_tol=1e-10, abs_tol=1e-12):
        raise ValueError("probabilities must sum to 1")

    positive = p > 0.0
    return float(-np.sum(p[positive] * np.log(p[positive])))


def policy_entropy(logits: np.ndarray, temperature: float) -> float:
    return categorical_entropy(softmax_with_temperature(logits, temperature))

Для воспроизводимости таблицы:

logits = np.array([2.0, 1.0, 0.0, -1.0])
for temperature in [0.25, 0.5, 1.0, 2.0, 4.0, 10.0]:
    print(temperature, f"{policy_entropy(logits, temperature):.6f}")

Результат: 0.093113, 0.455429, 0.947537, 1.245050, 1.348243, 1.380071.

import numpy as np


def run_corridor_episode(
    rng: np.random.Generator,
    *,
    max_steps: int = 20,
) -> float:
    if not isinstance(max_steps, int) or isinstance(max_steps, bool) or max_steps <= 0:
        raise ValueError("max_steps must be a positive integer")

    state = 2
    for _ in range(max_steps):
        action = int(rng.integers(0, 2))
        state += -1 if action == 0 else 1
        if state == 0:
            return 0.0
        if state == 4:
            return 1.0
    return 0.0


def estimate_corridor_value(
    n_episodes: int,
    *,
    seed: int = 7,
    max_steps: int = 20,
) -> float:
    if not isinstance(n_episodes, int) or isinstance(n_episodes, bool) or n_episodes <= 0:
        raise ValueError("n_episodes must be a positive integer")

    rng = np.random.default_rng(seed)
    returns = [run_corridor_episode(rng, max_steps=max_steps) for _ in range(n_episodes)]
    return float(np.mean(returns))

Проверенные значения:

N=1000,  seed=7,  max_steps=20 -> 0.494
N=20000, seed=23, max_steps=20 -> 0.4933
exact finite-horizon value       -> 0.49951171875

Без ограничения по числу шагов симметрия коридора даёт вероятность правого терминала 0.5. При лимите в 20 шагов часть траекторий не успевает достичь ни одной границы и получает награду 0.0. Чтобы пережить очередные два шага, процесс должен вернуться из состояния 1 или 3 в состояние 2; вероятность этого равна 1/2. Поэтому вероятность не завершить эпизод за десять таких пар шагов равна $2^{-10}=1/1024$. Оставшаяся вероятность по симметрии поровну распределяется между левым и правым терминалами, и точная вероятность правого терминала равна

Случайная оценка не обязана совпадать с точным значением в каждом запуске. Она должна вести себя в соответствии с дисперсией Бернулли и уменьшать типичную ошибку примерно как $1/\sqrt{N}$.