Модуль 2. Состояние, ценность и уравнения Беллмана

Две записи состояния совпадают, действие одно и то же, но следующий ответ инструмента зависит от скрытого токена авторизации. Какой вывод наиболее точен?

Агент переходит в цель и получает $+5$. Ценность терминального состояния задана равной нулю. Чему равна цель для предыдущего состояния при любом $\gamma$?

Пусть $r=1$, $\gamma=0.9$, $V(s')=2$. Вычислите цель для истинного терминала и внешнего усечения. На сколько будет смещена цель, если усечение ошибочно принять за терминал?

Политика выбирает три действия с вероятностями $[0.2,0.3,0.5]$, а преимущества равны $[-2,1,x]$. Найдите $x$, если преимущества корректно центрированы относительно политики.

Для фиксированной политики $\gamma=0.95$, а $\|T_\pi\widehat V-\widehat V\|_\infty=0.02$. Какую верхнюю границу даёт стандартная оценка для $\|\widehat V-V^\pi\|_\infty$? Является ли эта граница точным значением ошибки?

Выберите наиболее точное утверждение.

Награда $+1$ выдаётся на переходе в цель, остальные награды нулевые, $\gamma=0.9$. Какой вклад в $G_0$ даёт успех после 4 переходов? А после 7 переходов?

Цель содержит три наблюдённые награды, а затем $\gamma^3V(S_{t+3})$. Какая часть цели является бутстрэппингом и почему?

Награды равны $[2,0,-1]$, $\gamma=0.9$, $V(S_{t+3})=3$. Вычислите трёхшаговую цель, если конец окна нетерминальный, и если третий переход истинно терминальный.

Политика поведения выбирает действия $\varepsilon$-жадно. Алгоритм строит цель по распределению той же $\varepsilon$-жадной политики, но хранит переходы в буфере на одну эпоху. Это on-policy или off-policy в содержательном смысле модуля?

В одном запуске Q-learning имеет жадный маршрут $-13$, а SARSA — $-17$, но средняя награда SARSA во время $\varepsilon$-жадного обучения выше. Противоречие ли это?

Десять одинаково качественных ответов получают независимые шумные оценки с нулевым средним. Выбирается ответ с максимальной оценкой. Будет ли ожидаемая максимальная оценка равна истинному качеству?