Модуль 5. Обучение по фиксированным данным: имитация, глубокие Q-методы и офлайн-RL

1. Да, буквально в токеновой абстракции. Состояние $s_t=(x,y_{<t})$, действие $a_t=y_t$, маска равна единице только на токенах ответа. Максимизация правдоподобия демонстрационных действий и есть BC.

2. Это всё ещё максимум правдоподобия последовательности, но более широкий процесс. Модель копирует также токены пользователя. Называть это BC политики ассистента без оговорки нельзя, потому что часть «действий» не принадлежит ассистенту.

3. Да, при согласованных масках и агрегировании. На уровне полного ответа состояние — $x$, действие — $y$. Тождество $-\log\pi_\theta(y\mid x)=-\sum_t\log\pi_\theta(y_t\mid x,y_{<t})$ делает сумму токеновых NLL точной BC-целью для этого действия, включая EOS при одной и той же конвенции. Обратное распространение через факторизацию не меняет цель. Усреднение каждого ответа по собственной длине меняет веса примеров; деление общей суммы на фиксированное число токенов лишь масштабирует цель пакета.

4. Да. Несколько демонстраций задают эмпирическое распределение экспертных действий. Максимум их правдоподобия остаётся BC, хотя эксперт уже не детерминирован.

Фраза без условий скрывает единицу действия, способ формирования состояния и маску. Именно эти элементы определяют, какую политику мы копируем.

1. Ошибка 1% измерена при $s\sim d_t^{\pi_E}$. После собственной ошибки политика может перейти в состояния из $d_t^{\pi_\theta}$, которых почти нет в демонстрациях, и там частота ошибок может быть иной.

2. Распределения остаются близкими, если ошибки редки и обратимы, динамика устойчива, демонстрации покрывают восстановление или модель хорошо обобщает на соседние состояния.

3. Обратимая ошибка: лишний шаг в коридоре, после которого можно вернуться. Необратимая: падение с обрыва или отправка необратимой транзакции.

4. Нужна оценка политики в замкнутом контуре: ожидаемая накопленная награда, вероятность успеха, стоимость отказа, качество восстановления или иной показатель на траекториях самой политики.

1. Это DAgger: эксперт даёт целевое действие в конкретном состоянии.

2. Это обучение по предпочтениям; пары могут затем использоваться в модели награды, DPO или другой цели.

3. Это RL с проверяемой наградой: программа задаёт скалярный сигнал за результат.

Общее состоит в том, что обратная связь собирается на поведении текущей политики, а не только на статических демонстрациях. Но действие эксперта, бинарное предпочтение и скалярная награда имеют разные пространства наблюдений и приводят к разным оценивателям и функциям потерь.

1. В обоих случаях целевая политика может отличаться от политики, собравшей переходы.

2. DQN продолжает взаимодействовать со средой и обновляет буфер. Набор данных не фиксирован на весь период обучения.

3. Новые переходы попадают в буфер; Q-функция может переоценить прежние выводы по реальному опыту.

4. В офлайн-RL гипотеза о ненаблюдавшемся действии не проверяется. Ошибка значения может быть выбрана политикой и усилена бутстрэппингом без корректирующего опыта.

Целевая сеть DQN: задаёт значение следующего состояния в цели Беллмана, непосредственно участвует в бутстрэппинге и периодически копируется или медленно обновляется из основной сети.

Базовая политика RLHF: задаёт опорное распределение для регуляризации по дивергенции Кульбака—Лейблера (KL) или отношения вероятностей. Она не является оценкой будущей накопленной награды и обычно остаётся фиксированной в пределах запуска.

Обе могут быть копиями, но первая стабилизирует движущуюся численную цель значения, а вторая определяет стоимость ухода от поведения базы.

1. Мир A: $r(a_0)=0$, $r(a_1)=+1$. Мир B: $r(a_0)=0$, $r(a_1)=-1$.

2. Журнал одинаков, значит алгоритм получает один и тот же вход и выдаёт один и тот же результат. Одно действие не может быть оптимальным в обоих мирах.

3. Возможны предположения о гладкости награды по признакам, известная модель динамики, структурная связь между действиями, причинная модель или новое взаимодействие.

4. Большая сеть может выразить больше функций, но данные не выбирают между двумя совместимыми мирами. Дополнительная ёмкость не создаёт отсутствующего наблюдения.

• BCQ → 1: ограничивает кандидатов действиями, похожими на журнал. Слишком сильное ограничение не позволит выбрать редкое, но полезное улучшение.
• TD3+BC → 2: сочетает значение и близость к действию данных. Большой коэффициент BC сведёт метод к копированию поведения.
• CQL → 3: понижает относительные значения широкого набора действий. Сильный штраф может систематически недооценивать хорошие действия.
• IQL → 4: обучает ценность по действиям данных и извлекает политику взвешенным BC. Неудачные $\tau$, $\beta$ или ограничение веса могут либо не улучшить политику, либо чрезмерно сосредоточить её на малой части данных.

• DT: обучает условное распределение действий по состоянию, истории и оставшейся награде; явного бутстрэппинга Беллмана нет.
• DPO: обучает политику по парным предпочтениям и отношению к базовой политике; Q-функция и цель Беллмана отсутствуют.
• ILQL: обучает токеновые $Q$ и $V$ по награждённым траекториям; использует последовательную ценностную рекурсию и затем смещает политику преимуществом.

Фиксированность данных описывает режим доступа к опыту, но не определяет единственную математическую цель. Тип записи — демонстрация, предпочтение или переход с наградой — меняет доступные контрфакты и объект обучения.

Активны три элемента: $-0.2$, $-1.0$ и $-0.4$. Поэтому

Деление на 6 дало бы $0.266667$ и сделало масштаб градиента зависимым от числа замаскированных позиций. Обычно среднее берут по токенам, которые действительно входят в цель.

При $q=0.98$:

Точный регрет:

Первый порядок:

Нормированный регрет:

Здесь $\varepsilon T=0.4$ уже не очень мало, поэтому члены порядка $\varepsilon^2T^3$ заметны и линейное по $\varepsilon$ приближение завышает потерю.

Максимумы равны $(4,100,3)$. С учётом маски:

Во втором переходе $d=1$: продолжения задачи нет, поэтому значение следующего состояния не бутстрэппится.

Обычный DQN использует максимумы целевой сети: $10$ и $7$:

Основная сеть выбирает действия $(1,0)$. Целевая сеть оценивает именно их значениями $(1,-1)$:

Пример намеренно создаёт сильное расхождение ранжирований. DQN выбирает и оценивает максимум одной таблицы, а Double DQN выбирает по одной и оценивает по другой.

Штраф CQL:

Для $\tau=0.8$ отрицательный остаток получает вес $1-\tau=0.2$, положительные — $\tau=0.8$:

Среднее:

Больший вес положительных остатков заставляет $V$ двигаться к верхней части распределения значений действий из данных.

Обратные суммы:

При начальной цели 5 недисконтированное обновление даёт

Для $\gamma=0.5$:

Цель — входное условие модели. Если данных для столь высокой награды нет, модель вынуждена экстраполировать; условие не меняет динамику среды и не является гарантией результата.

import numpy as np

def dqn_targets(rewards, terminated, next_q_target, gamma=0.99):
    r = np.asarray(rewards, dtype=float)
    term = np.asarray(terminated, dtype=bool)
    q = np.asarray(next_q_target, dtype=float)
    return r + gamma * (~term) * q.max(axis=1)

def double_dqn_targets(rewards, terminated, next_q_online, next_q_target, gamma=0.99):
    r = np.asarray(rewards, dtype=float)
    term = np.asarray(terminated, dtype=bool)
    online = np.asarray(next_q_online, dtype=float)
    target = np.asarray(next_q_target, dtype=float)
    actions = online.argmax(axis=1)
    selected = target[np.arange(len(r)), actions]
    return r + gamma * (~term) * selected

В рабочем коде нужно дополнительно проверять формы и диапазон $\gamma$; это сделано в module_5_reference.py.

import numpy as np

def pessimistic_values(
    empirical_means: np.ndarray,
    counts: np.ndarray,
    *,
    radius_scale: float = 1.0,
) -> np.ndarray:
    means = np.asarray(empirical_means, dtype=np.float64)
    n = np.asarray(counts, dtype=np.float64)
    if means.shape != n.shape or np.any(n < 0) or not np.isfinite(radius_scale) or radius_scale < 0:
        raise ValueError("invalid shapes, counts, or radius_scale")
    out = np.full_like(means, -np.inf)
    seen = n > 0
    out[seen] = means[seen] - radius_scale / np.sqrt(n[seen])
    return out

Правило использует только число наблюдений и не учитывает последовательную динамику, качество представления, систематический сдвиг данных или корректную статистическую границу. Это иллюстрация идеи, а не общий метод.