Теория информации для машинного обучения
Теория информации: от энтропии и кодирования до NLP, LLM, компьютерного зрения и обучения с подкреплением.
Содержание
- Модуль 1. Введение · Тесты
- Модуль 2. Энтропия · Тесты · Упражнения
- Модуль 3. Кросс-энтропия и KL-дивергенция · Тесты · Упражнения
- Модуль 4. Неравенство Йенсена: когда среднее встречает нелинейность · Тесты · Упражнения
- Модуль 5. Взаимная информация: сколько один объект говорит о другом · Тесты · Упражнения
- Модуль 6. Кодирование источника: от энтропии к реальным битам · Тесты · Упражнения
- Модуль 7. Канал и пропускная способность · Тесты · Упражнения
- Модуль 8. Максимальная энтропия, экспоненциальные модели и KL-регуляризация · Тесты · Упражнения
- Модуль 9. Скорость–искажение и Information Bottleneck: как управлять потерей информации · Тесты · Упражнения
- Модуль 10. Алгоритмическая теория информации: кратчайшие описания, MDL и универсальное предсказание · Тесты · Упражнения
- Модуль 11. Сравнение распределений: f-дивергенции, вариационные критики и расстояние Вассерштейна · Тесты · Упражнения
- Модуль 12. Информационные границы обобщения: PAC-Bayes и взаимная информация · Тесты · Упражнения
- Модуль 13. Рассуждение в LLM: вычисление, поиск и информация · Тесты · Упражнения
- Модуль 14. Компьютерное зрение через теорию информации · Тесты · Упражнения
- Модуль 15. Информационная геометрия: Fisher, естественный градиент и потоки распределений · Тесты · Упражнения
- Модуль 16. Памятка по курсу