RL для LLM1 / 13

Модуль 1. Введение: Reinforcement Learning для LLM

Выберите ответы и нажмите «Проверить». Для чисел подходят точка, запятая и простые дроби. Ответы и черновики сохраняются в этом браузере и общие для RU/EN.

Открытые вопросы и задания с кодом проверяются самостоятельно по авторскому разбору. Код на сайте не запускается.

Проверено: 0 / 9 · Верно: 0

Вопрос P01 · Граница соответствия «LLM — это политика»

Шаг 1.1.4 — LLM как политика: точное соответствие и его граница

один ответ

В токеновой постановке $s_t=(x,y_{<t})$ , $a_t=y_t$ , и LLM действительно задаёт $\pi_\theta(a\mid s)$ . Какая оговорка сопровождает это утверждение в модуле?

Один правильный вариант1Соответствие приблизительное: softmax лишь напоминает политику2Назвать LLM политикой — значит описать способ выбора действий, а не утверждать, что веса получены с помощью RL; предобученная модель уже задаёт политику3Соответствие верно только после RLHF-дообучения4Соответствие требует, чтобы среда была полностью наблюдаемой

Соответствие приблизительное: softmax лишь напоминает политику

Назвать LLM политикой — значит описать способ выбора действий, а не утверждать, что веса получены с помощью RL; предобученная модель уже задаёт политику

Соответствие верно только после RLHF-дообучения

Соответствие требует, чтобы среда была полностью наблюдаемой

Ответ и разбор

Правильный ответ: Назвать LLM политикой — значит описать способ выбора действий, а не утверждать, что веса получены с помощью RL; предобученная модель уже задаёт политику

Вторая граница: в прикладной системе LLM обычно является политикой или её частью, но не всей средой — инструменты, файлы, браузер и пользователь имеют своё состояние.

Вопрос P02 · Четыре вопроса вместо ярлыка

Шаг 1.1.5 — Награда, накопленная награда и цель RL

один ответ

Модуль отвергает формулу «в обучении с учителем есть правильный ответ, а в RL только награда». Чем он предлагает её заменить?

Один правильный вариант1Точным определением через наличие функции ценности2Четырьмя вопросами: какое решение принимает политика, какая обратная связь доступна, есть ли отложенные последствия и как были получены данные3Разделением на онлайн- и офлайн-режимы4Проверкой, оптимизируется ли ожидание по траекториям текущей политики

Точным определением через наличие функции ценности

Четырьмя вопросами: какое решение принимает политика, какая обратная связь доступна, есть ли отложенные последствия и как были получены данные

Разделением на онлайн- и офлайн-режимы

Проверкой, оптимизируется ли ожидание по траекториям текущей политики

Ответ и разбор

Правильный ответ: Четырьмя вопросами: какое решение принимает политика, какая обратная связь доступна, есть ли отложенные последствия и как были получены данные

Имитационное обучение, офлайн-RL, контекстный бандит и обучение по предпочтениям — четыре контрпримера, каждый из которых ломает короткий ярлык по-своему.

Вопрос P03 · Что скрывает каждая абстракция

Шаг 1.2.1 — Три полезные абстракции: ответ, токен и макродействие

несколько ответов

Три постановки LLM-задачи намеренно что-то скрывают. Отметьте все верные соответствия.

Отметьте все верные варианты1Контекстный бандит скрывает вклад отдельных токенов и стоимость декодирования2Конечный токеновый MDP скрывает скрытое внешнее состояние и крупные действия3POMDP или semi-MDP требует явной модели времени, ошибок инструментов и неполноты наблюдений4Контекстный бандит утверждает, что ответ физически возник за один шаг

Контекстный бандит скрывает вклад отдельных токенов и стоимость декодирования

Конечный токеновый MDP скрывает скрытое внешнее состояние и крупные действия

POMDP или semi-MDP требует явной модели времени, ошибок инструментов и неполноты наблюдений

Контекстный бандит утверждает, что ответ физически возник за один шаг

Ответ и разбор

Правильный ответ:

Контекстный бандит скрывает вклад отдельных токенов и стоимость декодирования
Конечный токеновый MDP скрывает скрытое внешнее состояние и крупные действия
POMDP или semi-MDP требует явной модели времени, ошибок инструментов и неполноты наблюдений

Последнее — частая ошибка чтения: внутренняя последовательность токенов просто не моделируется явно, а не отрицается.

Вопрос P04 · Чего не делает более плотный сигнал

Шаг 1.2.2 — Разреженная награда, вклад действий и стоимость роллаутов

один ответ

Функция ценности, групповая базовая оценка и награды за промежуточные шаги делают разреженный сигнал информативнее. Чего ни один из этих приёмов не делает?

Один правильный вариант1Не снижает дисперсию оценки градиента2Не превращает плохую награду в правильную цель: более плотная обратная связь лишь помогает точнее оптимизировать то, что уже задано3Не работает при терминальной награде

0

или

1

4Не применим к ответам длиннее тысячи токенов

Не снижает дисперсию оценки градиента

Не превращает плохую награду в правильную цель: более плотная обратная связь лишь помогает точнее оптимизировать то, что уже задано

Не работает при терминальной награде $0$ или $1$

Не применим к ответам длиннее тысячи токенов

Ответ и разбор

Правильный ответ: Не превращает плохую награду в правильную цель: более плотная обратная связь лишь помогает точнее оптимизировать то, что уже задано

Это первая формулировка сквозной темы курса: качество результата начинается с качества критерия, а не с выбора оптимизатора.

Вопрос P05 · Офлайн и обучение по данным другой политики

Шаг 1.3.3 — Классические оси и их границы

один ответ

Почему «офлайн» и «по данным другой политики» нельзя считать синонимами?

Один правильный вариант1Офлайн-RL всегда использует данные другой политики, а обратное неверно2Офлайн — постановка без нового взаимодействия и с фиксированными данными; off-policy — свойство оценивателя или алгоритма относительно политики поведения3Off-policy относится к оцениванию, а офлайн — к архитектуре критика4Различие терминологическое и на алгоритмы не влияет

Офлайн-RL всегда использует данные другой политики, а обратное неверно

Офлайн — постановка без нового взаимодействия и с фиксированными данными; off-policy — свойство оценивателя или алгоритма относительно политики поведения

Off-policy относится к оцениванию, а офлайн — к архитектуре критика

Различие терминологическое и на алгоритмы не влияет

Ответ и разбор

Правильный ответ: Офлайн — постановка без нового взаимодействия и с фиксированными данными; off-policy — свойство оценивателя или алгоритма относительно политики поведения

Соседняя ловушка того же шага: «данные текущей политики» не означают «использовать каждый пример ровно один раз» — PPO делает несколько эпох по мини-пакетам.

Вопрос P06 · Карта методов

Шаг 1.3.5 — SFT, DPO, PPO-RLHF, GRPO/RLVR и Best-of-N

несколько ответов

По таблице шага 1.3.5 — какие утверждения верны? Отметьте все.

Отметьте все верные варианты1SFT — имитация поведения по демонстрациям, не RL2DPO — офлайн-оптимизация предпочтений, выведенная из KL-регуляризованной постановки RLHF; не классический офлайн-RL3Best-of-N — поиск и отбор при замороженных параметрах, к обучению не относится4RLVR описывает тип обратной связи, GRPO — алгоритм5Отсутствие обучаемого критика в каноническом GRPO означает отсутствие базовой оценки

SFT — имитация поведения по демонстрациям, не RL

DPO — офлайн-оптимизация предпочтений, выведенная из KL-регуляризованной постановки RLHF; не классический офлайн-RL

Best-of-N — поиск и отбор при замороженных параметрах, к обучению не относится

RLVR описывает тип обратной связи, GRPO — алгоритм

Отсутствие обучаемого критика в каноническом GRPO означает отсутствие базовой оценки

Ответ и разбор

Правильный ответ:

SFT — имитация поведения по демонстрациям, не RL
DPO — офлайн-оптимизация предпочтений, выведенная из KL-регуляризованной постановки RLHF; не классический офлайн-RL
Best-of-N — поиск и отбор при замороженных параметрах, к обучению не относится
RLVR описывает тип обратной связи, GRPO — алгоритм

Последнее — самая частая ошибка чтения таблицы: групповое среднее и есть базовая оценка.

Вопрос P07 · Что описывает формула температуры

Шаг 1.4.2 — Softmax с температурой: первый вычислимый пример политики

один ответ

Формула $\pi_i(T) \propto \exp(z_i/T)$ и монотонность энтропии по $T$ доказаны для фиксированных конечных логитов. Почему параметр temperature в API не обязан вести себя так же?

Один правильный вариант1В API температура задаётся в других единицах2В API она применяется вместе с top-p, top-k, штрафами за повторение и фильтрами провайдера; формула описывает чистый softmax для заданных логитов, а не весь процесс декодирования3Провайдеры округляют логиты до float16, что нарушает монотонность4Монотонность верна только при

T \le 1

В API температура задаётся в других единицах

В API она применяется вместе с top-p, top-k, штрафами за повторение и фильтрами провайдера; формула описывает чистый softmax для заданных логитов, а не весь процесс декодирования

Провайдеры округляют логиты до float16, что нарушает монотонность

Монотонность верна только при $T \le 1$

Ответ и разбор

Правильный ответ: В API она применяется вместе с top-p, top-k, штрафами за повторение и фильтрами провайдера; формула описывает чистый softmax для заданных логитов, а не весь процесс декодирования

Тот же разрыв возвращается в модуле 6 (усечение и перенормировка) и в модуле 3 (температура генерации ≠ обучающее исследование).

Вопрос P08 · Энтропия при заданной температуре

Шаг 1.4.3 — Как энтропия зависит от температуры: воспроизводимый эксперимент

числовой ответ · допуск ±0.01

Логиты $z = (3, 1, 0)$ , температура $T = 2$ .

Чему равна энтропия политики в натах?

Энтропия, натАбсолютный допуск: ±0.01

Ответ и разбор

Правильный ответ: 0.906

Проверено функцией policy_entropy: $0.905959$ . Верхняя граница здесь $\ln 3 \approx 1.0986$ , то есть распределение уже заметно сглажено, но ещё не равномерно.

Вопрос P09 · Точная ценность коридора при ограниченном горизонте

Шаг 1.4.4 — Накопленная награда и оценка Монте-Карло в коридоре

код-задача

Симметричное блуждание по клеткам $0..4$ ; старт в $2$ ; шаг влево или вправо равновероятен. Эпизод завершается в $0$ (награда $0$ ) или в $4$ (награда $+1$ ), а также обрывается после max_steps действий.

Спецификация: вычислите $V(2) = \Pr(T_4 \le \texttt{max\_steps})$ точно — динамическим программированием по числу оставшихся шагов, без симуляции.

Формат ввода: одна строка — max_steps. Формат вывода: одна строка — значение (6 знаков).

Стартовый код:

def exact_corridor_value(max_steps: int) -> float:
    """Вероятность достичь состояния 4 из состояния 2 не более чем за max_steps действий."""
    # ВАШ КОД ЗДЕСЬ
    raise NotImplementedError

if __name__ == "__main__":
    print(f"{exact_corridor_value(int(input())):.6f}")

Открытые тесты:

stdin	stdout
`2`	`0.250000`
`4`	`0.375000`
`6`	`0.437500`
`20`	`0.499512`

Ваш ответ или заметки

Ответ и разбор

Без ограничения длины ответ был бы ровно $0.5$ ; при лимите 20 — $1023/2048 = 0.49951171875$ . Разница мала, но принцип важен: сравнивать эксперимент нужно с постановкой, реализованной в коде, а не с почти совпадающей версией без лимита.

Эталонная реализация динамического программирования:

import numpy as np


def exact_corridor_value(max_steps: int) -> float:
    if not isinstance(max_steps, int) or isinstance(max_steps, bool) or max_steps <= 0:
        raise ValueError("max_steps must be a positive integer")

    # values[s] — вероятность достичь правого терминала
    # за уже разрешённое число шагов при старте из s.
    values = np.zeros(5, dtype=np.float64)
    values[4] = 1.0
    for _ in range(max_steps):
        updated = values.copy()
        for state in (1, 2, 3):
            updated[state] = 0.5 * values[state - 1] + 0.5 * values[state + 1]
        updated[0] = 0.0
        updated[4] = 1.0
        values = updated
    return float(values[2])

Сложность — $O(\texttt{max\_steps})$ по времени и $O(1)$ по памяти, поскольку число состояний фиксировано.

Вопрос P10 · Стандартная ошибка оценки Монте-Карло

Шаг 1.4.4 — Накопленная награда и оценка Монте-Карло в коридоре

числовой ответ · допуск ±0.002

Накопленная награда в коридоре — бернуллиевская величина с $p = 1023/2048 \approx 0.4995$ . Оценка строится по $N = 400$ независимым эпизодам.

Чему примерно равна стандартная ошибка $\sqrt{p(1-p)/N}$ ?

Стандартная ошибкаАбсолютный допуск: ±0.002

Ответ и разбор

Правильный ответ: 0.025

При $N = 1000$ она была бы $\approx 0.0158$ . Значения оценки 0.48 или 0.52 при таком $N$ не противоречат теории — это обычная погрешность конечной выборки. Та же логика вернётся в RLVR: размер группы влияет одновременно на дисперсию и на стоимость.