Модуль 11. RL для LLM-агентов: инструменты, среда и длинные траектории

В POMDP зафиксированы модель среды и начальное распределение. Полный журнал содержит все действия, наблюдения и полученные награды, но флаг доступа ни разу не наблюдался напрямую. Мешает ли неизвестность флага использовать полный журнал как марковское информационное состояние? Чем отличается распределение убеждений и что может измениться после усечения журнала?

Модель выдаёт символическое действие OPEN_RED, после чего контроллер сериализует его в длинный JSON. Какие токены входят в функцию потерь политики?

Переход дал награду 0, следующая ценность равна 0.7, $\gamma=0.9$. Эпизод оборван сборщиком, но не завершён средой. Найдите однокроковую цель критика.

Две строки JSON разбираются как одно действие и имеют вероятности 0.25 и 0.35. Какова вероятность семантического действия?

Суммы логарифмов вероятностей хода под текущей и поведенческой политиками равны $-2.1$ и $-2.4$. Найдите отношение вероятностей всего хода.

Четыре роллаута занимают 1, 1, 2 и 8 секунд. Какова загрузка четырёх синхронных воркеров?

Агент ветвится после поискового запроса, но каждая ветвь повторно обращается к живой поисковой системе. Сравнивают ли ветви действия из одного состояния?

В группе из восьми роллаутов все награды равны 1. Что произойдёт после вычитания среднего группы?

Почему награда $+0.1$ за каждый inspect опаснее бонуса за первое достижение состояния?

После замены браузерного контроллера итоговая точность выросла без изменения весов модели. Можно ли приписать улучшение RL?

Среда отправляет реальные письма и не имеет безопасного сброса. Какой маршрут обучения предпочтительнее на первом этапе?

Назовите минимум шесть полей, без которых многоходовой роллаут трудно воспроизвести.