Модуль 5. Обучение по фиксированным данным: имитация, глубокие Q-методы и офлайн-RL

Переход имеет награду $r=0{,}2$, $\gamma=0{,}95$ и $\max_{a'}Q_{\theta^-}(s',a')=1{,}6$.

1. Вычислите DQN-цель, если агент попал в настоящую терминальную ловушку.
2. Вычислите цель, если сбор оборван внешним лимитом времени, но состояние $s'$ наблюдалось и процесс мог бы продолжиться.
3. Объясните, почему один общий флаг done=True может испортить обучение.

В состоянии $s$ журнал содержит 900 переходов с действием left, 100 с up и ни одного с right или down. Обученная Q-сеть выдаёт значения

в порядке left, up, right, down.

Какие действия можно считать поддержанными данными? Какой выбор сделает наивная жадная политика? Какое дополнительное предположение понадобилось бы, чтобы доверять right?

Две системы обучаются на миллионе переходов.

• Система A продолжает взаимодействовать со средой, вытесняет старые записи из буфера воспроизведения опыта и добавляет новые.
• Система B получает один неизменяемый файл и никогда не запускает среду во время обучения.

Обе используют одинаковую формулу DQN-цели. Какая система решает задачу офлайн-RL и почему одинаковая функция потерь не делает режимы эквивалентными?

Для каждого из четырёх сигналов решите, является ли он достаточным для стандартного шага DAgger:

Почему общая фраза «обратная связь на поведении текущей политики» не делает все четыре алгоритма одинаковыми?

Ниже функция для одного состояния. q_values — значения всех действий, logged_action — действие из набора.

import numpy as np

def cql_penalty_bad(q_values: np.ndarray, logged_action: int) -> float:
    q = np.asarray(q_values, dtype=float)
    return float(np.log(np.exp(q).sum()) + q[logged_action])

1. Найдите ошибку знака.
2. Перепишите вычисление численно устойчиво.
3. Объясните, почему изолированный штраф ещё не является полным CQL-алгоритмом.

Для одного состояния известны значения действий из набора: $Q=(0,1,4)$. Рассмотрите $V=1$ и экспектильный параметр $\tau=0{,}8$.

1. Вычислите веса квадратичных остатков для трёх действий.
2. В какую сторону будет двигаться $V$ при минимизации потери?
3. Почему это не то же самое, что взять максимум $4$?

Проверяемая политика в следующем состоянии выбирает два действия с вероятностями $(0{,}25,0{,}75)$. Текущая целевая Q-модель выдаёт $(2,4)$. Переход имеет $r=-0{,}1$, $\gamma=0{,}9$ и не терминален.

1. Вычислите FQE-цель.
2. Сравните её с Q-learning-целью.
3. Что изменится на настоящем терминале?

В обучающем наборе оставшаяся награда лежит между $-1$ и $1$. При развёртывании пользователь задаёт $G_1^{\mathrm{target}}=20$.

Какие три разных исхода возможны и какой из них гарантирует функция потерь DT? Как следует проверять такой режим?

При подготовке последовательности разработчик подаёт модели текущую оставшуюся награду, состояние, текущее правильное действие и просит предсказать это же действие.

Почему обучающая точность будет вводить в заблуждение? Какой каузальный сдвиг нужен?

Сопоставьте четыре набора данных с наиболее непосредственной базовой целью: BC/SFT, классический офлайн-RL, DPO, ILQL.

1. запрос и один демонстрационный ответ без награды;
2. пары предпочитаемый/отклонённый ответ;
3. последовательности префикс–токен с итоговой наградой;
4. переходы среды $(s,a,r,s')$.

Для каждого случая назовите один объект, которого нет в остальных постановках.

Студент реализует функцию

def behavior_support_mask(probabilities, threshold):
    """Return a Boolean mask for actions whose behavior probability is supported."""

Предложите не менее шести скрытых тестов, которые отличат корректную реализацию от return probabilities > 0 и от константной маски.

В одном зафиксированном прогоне наивный офлайн-DQN не решил ни одного эпизода, а CQL и IQL решили все. Выберите корректную формулировку и объясните отказ от остальных.