Модуль 6. LLM как политика: токены, логарифмы вероятностей и KL

Для каждой строки заполните terminated, truncated и пояснение: а) модель выбрала EOS, который контракт считает концом ответа; б) достигнут лимит длины; в) внешний тайм-аут сработал в момент, когда среда также сообщила истинный успех; г) движок вернул неизвестную строку server_cancelled. Можно ли последнюю строку автоматически считать терминальной?

Модель сэмплировала токены [17, 42, EOS]. Интерфейс показывает пользователю только первые два токена. Какие токены входят в вероятность действия политики и какие — в отображаемый текст? Почему удаление EOS до вычисления old_logprob меняет математический объект?

В журнале для токенов [BOS, A, B] записаны логарифмы вероятностей из позиций логитов [0,1,2] для целей [BOS,A,B]. Укажите две ошибки и правильное выравнивание.

Одна реализация считает PPL по четырём токенам ответа, другая дополнительно включает два токена запроса с очень высокой вероятностью. Вторая PPL меньше. Следует ли из этого улучшение политики ответа?

Сопоставьте old_logprobs, current_logprobs и ref_logprobs с их ролями в PPO и KL-регуляризации. Какие из них должны оставаться фиксированными в течение нескольких эпох обновления одного пакета?

Для одного токена log π=-3.0, log π_ref=-2.5. Выборочный вклад log π-log π_ref отрицателен. Что можно и нельзя заключить?

Возьмите $q=(1,0)$ и $p=(0.8,0.2)$. Вычислите $\mathbb E_q[p/q]$ по наблюдаемому носителю и объясните, почему контрольная вариата перестала иметь нулевое среднее.

В двух экспериментах точный KL мал, но во втором редко встречается действие с большим $p/q$. Почему дисперсия k3 может оказаться намного выше, хотя k3 неотрицателен?

Логиты были разделены на $T=2$ перед сэмплированием, но old_logprob сохранили из softmax при $T=1$. Что произойдёт с PPO-отношением даже без изменения весов модели?

Почему недостаточно сохранить только числа top_k=2 и top_p=0.7? Приведите ситуацию, в которой изменение порядка обработчиков меняет носитель.

Пакет хранит текст, награду и текущие логарифмы вероятностей, но не хранит идентификаторы токенов, маску, версию политики и причину остановки. Назовите минимум четыре невозможные или ненадёжные операции.

В диалоге модель выдала вызов инструмента, среда вставила результат поиска, затем модель продолжила ответ. Какие токены являются действиями политики, а какие наблюдениями среды? Как должна вести себя маска функции потерь политики?