Модуль 4. Градиенты политики: от REINFORCE к PPO

один ответ

Тождество $\nabla_\theta \mathbb{E}[f(X)] = \mathbb{E}[f(X)\nabla_\theta\log p_\theta(X)]$ позволяет не дифференцировать $f$. Что мы получаем взамен?

код-задача

Спецификация: $G_t = \sum_{k=t}^{T-1}\gamma^{k-t} r_{k+1}$ — награда от текущего шага до конца эпизода. Считать обратным проходом: $G_t = r_{t+1} + \gamma G_{t+1}$, $G_T = 0$.

Формат ввода: строка 1 — награды через пробел; строка 2 — $\gamma$. Формат вывода: одна строка — $G_0, \ldots, G_{T-1}$ через пробел (6 знаков).

Стартовый код:

import numpy as np

def reward_to_go(rewards, gamma=1.0):
    # ВАШ КОД ЗДЕСЬ
    raise NotImplementedError

if __name__ == "__main__":
    rewards = [float(x) for x in input().split()]
    gamma = float(input())
    print(" ".join(f"{x:.6f}" for x in reward_to_go(rewards, gamma)))

Открытые тесты:

один ответ

Из $Q^\pi(s,a)$ вычитают опорный уровень. Какое условие делает эту замену безопасной для ожидаемого градиента?

числовой ответ · допуск ±0.005

Награды группы центрируются по общему среднему: $A_i = R_i - \bar R$, размер группы $G = 8$, ответы условно независимы.

На какой множитель отличается ожидание получаемой оценки градиента от $\mathbb{E}[RS]$?

код-задача

Спецификация: $A_i^{\text{mean}} = R_i - \bar R$, где $\bar R$ — среднее всей группы; $A_i^{\mathrm{LOO}} = R_i - \frac{1}{G-1}\sum_{j\ne i} R_j$. Требуется $G \ge 2$.

Формат ввода: строка 1 — размер группы $G$; строка 2 — награды через пробел. Формат вывода: строка 1 — преимущества по общему среднему (6 знаков); строка 2 — преимущества RLOO (6 знаков); строка 3 — отношение $A^{\mathrm{LOO}}_0/A^{\text{mean}}_0$ (6 знаков) или undefined, если знаменатель равен нулю.

Стартовый код:

import numpy as np

def group_and_loo(rewards):
    """Верните (mean_advantages, loo_advantages)."""
    # ВАШ КОД ЗДЕСЬ
    raise NotImplementedError

if __name__ == "__main__":
    g = int(input())
    rewards = [float(x) for x in input().split()]
    mean_adv, loo_adv = group_and_loo(rewards)
    print(" ".join(f"{x:.6f}" for x in mean_adv))
    print(" ".join(f"{x:.6f}" for x in loo_adv))
    print(f"{loo_adv[0] / mean_adv[0]:.6f}" if abs(mean_adv[0]) > 1e-12 else "undefined")

Открытые тесты:

код-задача

Спецификация: эпизод завершается терминально на последнем шаге. $\delta_t = r_t + \gamma V_{t+1} - V_t$, где $V_{T} = 0$; $\widehat A_t = \delta_t + \gamma\lambda \widehat A_{t+1}$, $\widehat A_T = 0$. Цель критика: $\widehat V_t = V_t + \widehat A_t$.

Формат ввода: строка 1 — награды; строка 2 — оценки ценности $V_t$; строка 3 — $\gamma$ и $\lambda$. Формат вывода: строка 1 — $\widehat A_t$ через пробел (6 знаков); строка 2 — цели критика (6 знаков).

Стартовый код:

import numpy as np

def gae(rewards, values, gamma, lam):
    """Верните (advantages, value_targets)."""
    # ВАШ КОД ЗДЕСЬ
    raise NotImplementedError

if __name__ == "__main__":
    rewards = [float(x) for x in input().split()]
    values = [float(x) for x in input().split()]
    gamma, lam = (float(x) for x in input().split())
    adv, targets = gae(rewards, values, gamma, lam)
    print(" ".join(f"{x:.6f}" for x in adv))
    print(" ".join(f"{x:.6f}" for x in targets))

Открытые тесты:

один ответ

Пакет собирали с лимитом длины, и часть эпизодов оборвалась по этому лимиту, а часть закончилась настоящим терминалом. Что происходит с оценкой преимущества, если обе группы обработать одинаково — как терминальные?

несколько ответов

Для каких сочетаний знака преимущества и изменения отношения клиппированная ветвь действительно ограничивает цель? Отметьте все верные.

код-задача

Спецификация: для каждого примера даны отношение $r_i$ и преимущество $\widehat A_i$. Вычислите три показателя при заданном $\varepsilon$:

1. доля $r_i \notin [1-\varepsilon, 1+\varepsilon]$;
2. доля примеров, где пессимистическая ветвь строго меньше неклиппированной, то есть $\min(r_i\widehat A_i,\ \operatorname{clip}(r_i)\widehat A_i) < r_i\widehat A_i$;
3. неотрицательная выборочная оценка $\widehat D = \frac1N\sum_i[(r_i-1) - \log r_i]$.

Формат ввода: строка 1 — число примеров $N$ и $\varepsilon$; далее $N$ строк ratio advantage. Формат вывода: три строки — показатели 1, 2 и 3 (6 знаков).

Стартовый код:

import numpy as np

def ppo_diagnostics(ratio, advantage, clip_epsilon):
    """Верните (outside_fraction, active_clip_fraction, approx_kl)."""
    # ВАШ КОД ЗДЕСЬ
    raise NotImplementedError

if __name__ == "__main__":
    n, eps = input().split()
    rows = [tuple(float(x) for x in input().split()) for _ in range(int(n))]
    r = np.array([row[0] for row in rows])
    a = np.array([row[1] for row in rows])
    for value in ppo_diagnostics(r, a, float(eps)):
        print(f"{value:.6f}")

Открытые тесты:

числовой ответ · допуск ±0.001

Отношения вероятностей на трёх примерах: $r = (0.8,\ 1.0,\ 1.25)$.

Чему равна оценка $\widehat D = \frac13\sum_i[(r_i - 1) - \log r_i]$?

один ответ

RLOO и GRPO генерируют несколько ответов на один запрос и строят относительный сигнал. Что различает их в каноническом виде?

один ответ

Преимущество ответа $A(y)$ размножено по всем токенам и умножено на маску. Что эта конструкция делает корректно, а что нет?