Современные LLM
Архитектура, обучение, инференс, агенты и оценивание современных языковых моделей.
Содержание
- Модуль 1. Современный ландшафт LLM · Тесты · Упражнения · Ноутбуки
- Модуль 2. Токенизация и эмбеддинги · Тесты · Упражнения · Ноутбуки
- Модуль 3. Базовый Transformer · Тесты · Упражнения · Ноутбуки
- Модуль 4. Позиционные представления: от синусоид к нескольким осям · Тесты · Упражнения · Ноутбуки
- Модуль 5. Современные механизмы внимания · Тесты · Упражнения · Ноутбуки
- Модуль 6. Нормализация, активации и анатомия блока · Тесты · Упражнения · Ноутбуки
- Модуль 7. Mixture of Experts · Тесты · Упражнения · Ноутбуки
- Модуль 8. Альтернативы Transformer: SSM, Mamba и гибриды · Тесты · Упражнения · Ноутбуки
- Модуль 9. Претрейн: данные, законы масштабирования, оптимизаторы · Тесты · Упражнения · Ноутбуки
- Модуль 10. KV-кэши и эффективный инференс · Тесты · Упражнения · Ноутбуки
- Модуль 11. Спекулятивное декодирование и квантизация · Тесты · Упражнения · Ноутбуки
- Модуль 12. Диффузионные LLM · Тесты · Упражнения · Ноутбуки
- Модуль 13. SFT и работа с данными · Тесты · Упражнения · Ноутбуки
- Модуль 14. Обучение по обратной связи: RLHF, DPO, RLOO и GRPO · Тесты · Упражнения · Ноутбуки
- Модуль 15. Модели рассуждения и вычисления во время инференса (test-time compute) · Тесты · Упражнения · Ноутбуки
- Модуль 16. Мультимодальные LLM: зрение, аудио и видео · Тесты · Упражнения · Ноутбуки
- Модуль 17. Эмбеддинги, поиск и RAG · Тесты · Упражнения · Ноутбуки
- Модуль 18. Агенты и работа с инструментами · Тесты · Упражнения · Ноутбуки
- Модуль 19. Оценка современных LLM: от бенчмарка к инженерному решению · Тесты · Упражнения · Ноутбуки
- Модуль 20. LLM целиком: от токенов до обучения и генерации · Тесты · Упражнения · Ноутбуки