RL для LLM
Обучение с подкреплением, оптимизация предпочтений, проверяемые награды, агенты и безопасность.
Содержание
- Модуль 1. Введение: Reinforcement Learning для LLM · Тесты · Упражнения · Ноутбуки
- Модуль 2. Состояние, ценность и уравнения Беллмана · Тесты · Упражнения · Ноутбуки
- Модуль 3. Бандиты, исследование и одношаговые решения · Тесты · Упражнения · Ноутбуки
- Модуль 4. Градиенты политики: от REINFORCE к PPO · Тесты · Упражнения · Ноутбуки
- Модуль 5. Обучение по фиксированным данным: имитация, глубокие Q-методы и офлайн-RL · Тесты · Упражнения · Ноутбуки
- Модуль 6. LLM как политика: токены, логарифмы вероятностей и KL · Тесты · Упражнения · Ноутбуки
- Модуль 7. Модели награды и данные о предпочтениях · Тесты · Упражнения · Ноутбуки
- Модуль 8. RLHF и прямые методы оптимизации предпочтений · Тесты · Упражнения · Ноутбуки
- Модуль 9. RLVR и GRPO: проверяемые награды, групповые оценки и устойчивость · Тесты · Упражнения · Ноутбуки
- Модуль 10. Поиск, проверка и вычислительный бюджет на этапе генерации · Тесты · Упражнения · Ноутбуки
- Модуль 11. RL для LLM-агентов: инструменты, среда и длинные траектории · Тесты · Упражнения · Ноутбуки
- Модуль 12. Инфраструктура RL для LLM: память, роллауты и асинхронность · Тесты · Упражнения · Ноутбуки
- Модуль 13. Оценивание RL-систем для LLM: статистика, взлом награды и безопасность · Тесты · Упражнения · Ноутбуки