Модуль 8. RLHF и прямые методы оптимизации предпочтений

Два запуска DPO используют одинаковое $\beta$, но разные скорости обучения, число эпох и состав данных. Должны ли они завершиться с одинаковым KL к базе?

Для некоторого ответа $\pi_{\mathrm{ref}}(y\mid x)=0$, а текущая политика приписывает ему положительную вероятность. Что происходит с прямым KL и DPO-отношением?

Почему сглаживание меток с параметром $\varepsilon$ нельзя без оговорок называть теоретически несмещённой коррекцией шума?

После нескольких эпох политика почти идеально разделяет старые пары, но новые ответы текущей политики содержат другие ошибки. Что делать?

Средняя DPO-маржа выросла с 0.2 до 1.1, а средний logps/chosen снизился. Является ли это противоречием?

Предпочтённый ответ обрезан после 256 токенов, отклонённый целиком помещается в 90. Можно ли считать такую пару обычной DPO-парой?

Есть отдельные желательные и нежелательные ответы, но нет пар к одному запросу. Какой первый выбор разумнее: DPO, KTO или искусственное спаривание?

Можно ли описать trl-lib/ultrafeedback_binarized как набор прямых человеческих предпочтений?

Почему политика и база должны считать логарифмы вероятностей с одним шаблоном диалога и одинаковой маской ответа?