Модуль 3. Бандиты, исследование и одношаговые решения

один ответ

Псевдорегрет $\bar R_T = \mathbb{E}\left[\sum_t (\mu^* - \mu_{A_t})\right]$ назван так не потому, что он ненастоящий. Что означает приставка?

числовой ответ · допуск ±0.5

Три действия с разрывами $\Delta = (0,\ 0.1,\ 0.3)$ выбирались в среднем $\mathbb{E}[N_a(T)] = (700,\ 200,\ 100)$ раз.

Чему равен ожидаемый регрет $R_T = \sum_a \Delta_a \mathbb{E}[N_a(T)]$?

один ответ

Оценка UCB1 даёт $R_T \le 8\log T \sum_{a:\Delta_a>0} 1/\Delta_a + \text{const}$. Что из этого следует, а что нет?

один ответ

Модуль предостерегает от прямого переноса бандитных рецептов на LLM. Какой перенос он называет полезным?

несколько ответов

Какие условия нужны, чтобы $\widehat V_{\mathrm{IPS}}$ был несмещённым? Отметьте все верные.

код-задача

Спецификация: веса $w_i = \pi(a_i\mid x_i)/\mu(a_i\mid x_i)$. $\widehat V_{\mathrm{IPS}} = \frac1n\sum_i w_i r_i$; $\widehat V_{\mathrm{SNIPS}} = \sum_i w_i r_i / \sum_i w_i$; эффективный размер выборки по Кишу $\mathrm{ESS} = (\sum_i w_i)^2/\sum_i w_i^2$.

Формат ввода: строка 1 — число записей $n$; далее $n$ строк r mu pi. Формат вывода: строки 1–3 — IPS, SNIPS и ESS (4 знака).

Стартовый код:

import numpy as np

def offline_estimates(rewards, behavior, target):
    """Верните (ips, snips, ess)."""
    # ВАШ КОД ЗДЕСЬ
    raise NotImplementedError

if __name__ == "__main__":
    n = int(input())
    rows = [tuple(float(x) for x in input().split()) for _ in range(n)]
    r = [row[0] for row in rows]
    mu = [row[1] for row in rows]
    pi = [row[2] for row in rows]
    ips, snips, ess = offline_estimates(r, mu, pi)
    for value in (ips, snips, ess):
        print(f"{value:.4f}")

Открытые тесты:

один ответ

Оцениватель DR остаётся согласованным, если корректна хотя бы одна из двух моделей. Что он всё равно не может?

один ответ

Почему повышение температуры декодирования нельзя называть исследованием в смысле RL?

числовой ответ · допуск ±0.5

Каждый независимый кандидат успешен с вероятностью $p = 0.15$, проверяющий безошибочно распознаёт успех.

Сколько минимум кандидатов нужно, чтобы вероятность хотя бы одного успеха была не ниже $0.95$?

один ответ

Почему обычный Best-of-N с фиксированной LLM не является стандартным многоруким онлайн-бандитом?

код-задача

Спецификация: для задачи сгенерировано $n$ программ, $c$ из них прошли тесты, $n \ge k$. Оцениватель по конечной выборке: $\widehat{\operatorname{pass@}k} = 1 - \binom{n-c}{k}\big/\binom{n}{k}$, где $\binom{m}{k} = 0$ при $m < k$.

Формат ввода: одна строка — $n$, $c$, $k$. Формат вывода: одна строка — оценка (6 знаков).

Стартовый код:

from math import comb

def pass_at_k(n: int, c: int, k: int) -> float:
    # ВАШ КОД ЗДЕСЬ
    raise NotImplementedError

if __name__ == "__main__":
    n, c, k = (int(x) for x in input().split())
    print(f"{pass_at_k(n, c, k):.6f}")

Открытые тесты:

один ответ

В препринте 2026 года сообщается о существенном снижении энтропии при нескольких конфигурациях RLVR на математических задачах. Как курс просит трактовать это?