Современные LLM1 / 20

Модуль 1. Современный ландшафт LLM

Сначала попробуйте решить упражнение. Ответы, подробные решения и проектные ориентиры раскрываются отдельно и сохраняют своё состояние при переключении RU/EN.

Скачать файлы курса (.zip) 2588,1 КБ

Архив содержит файлы на обоих языках и вспомогательные материалы с сохранением структуры каталогов.

У1. Арифметика паспорта

Для моделей 1.6T/49B, 550B/55B и 117B/5.1B вычислите идеализированный BF16-объём и сырой 4-битный объём весов, весовые GFLOP/token и отношение total/active.

Показать ответ и решение

Решение.

Для модели с $P_{total}$ полными и $P_{active}$ активными параметрами используем четыре правила:

M_{BF16}=2P_{total}\ \text{байт},\qquad M_{4bit}=0.5P_{total}\ \text{байт},\qquad C_{token}\approx2P_{active}\ \text{FLOP},\qquad r=\frac{P_{total}}{P_{active}}.

Например, для 1.6T/49B получаем $2\cdot1.6\cdot10^{12}=3.20$ TB, $0.5\cdot1.6\cdot10^{12}=0.80$ TB, $2\cdot49=98$ GFLOP/token и $1600/49=32.65$ .

Паспорт	BF16, TB	raw 4-bit, TB	GFLOP/token	total/active
1.6T / 49B	3.20	0.80	98	32.65×
550B / 55B	1.10	0.275	110	10×
117B / 5.1B	0.234	0.0585	10.2	22.94×

Это оценка объёма однородных весов и матричных операций при заданной методике подсчёта. Фактический чекпойнт содержит масштабы и неоднородные тензоры; среда исполнения добавляет состояние и буферы.

У2. Классификатор внимания

Используя определения и проверяемую функцию из §17, получите классы для трёх конфигураций: (Q=8, KV=8), (Q=8, KV=1) и (Q=8, KV=2). Затем проверьте, что (Q=8, KV=3) отклоняется. Почему поле kv_lora_rank проверяется до отношения голов?

Показать ответ и решение

Решение. Получаются MHA, MQA и GQA с четырьмя Q-головами на одну KV-голову. Случай 8/3 некорректен: число KV-голов должно делить число Q-голов. В поддерживаемой здесь схеме kv_lora_rank указывает на сжатое представление MLA, которому требуется отдельная интерпретация. Это классификация конкретных соглашений конфигурации, а не универсальный способ распознать произвольную архитектуру.

У3 [проект]. Два паспорта одного продукта

Выберите API-модель или чекпойнт с доступными весами. Заполните шесть осей модельного паспорта, затем системный паспорт: инструменты, секреты, исходящий сетевой доступ, общая память, sandbox, мониторинг и протокол оценки. Отметьте, какие поля подтверждены первичным источником, какие измерены вами, а какие неизвестны.

Демо и критерии проекта

Демо к этому проектному упражнению: русскоязычный demo-notebook модуля 1, раздел «Демо 1». Он показывает компактный воспроизводимый пример на малых данных, а не готовое решение полномасштабного проекта.

У4 [проект]. Релиз-волна

Через 4–6 недель повторите датированный срез §§13–15. Не просто добавьте новые имена: для каждого изменения зафиксируйте источник, статус артефакта и поля паспорта, которые действительно изменились. Это упражнение формирует процедуру обновления знаний вместо зависимости от новостной ленты.

Демо и критерии проекта

Демо к этому проектному упражнению: русскоязычный demo-notebook модуля 1, раздел «Демо 2». Он показывает компактный воспроизводимый пример на малых данных, а не готовое решение полномасштабного проекта.

У5. Цена принятой задачи

В примере §12 система B по-прежнему тратит 2.80 USD, но принимает только 40 из 100 задач. Какая система дешевле по отношению расходов к числу принятых задач? Проходит ли хотя бы одна порог 80 из 100?

Показать ответ и решение

Решение. Для B получаем $2.80/40=0.070$ USD против $3.60/60=0.060$ USD у A. Теперь по этому отношению дешевле A, но обе системы не проходят порог качества. При нуле принятых задач отношение не определено: нельзя записать нулевую стоимость успеха.

У6. Ответ и подтверждение

По документам A и B из §12 оцените три ответа: «30 дней, A», «7 дней, A», «30 дней, B». Для каждого отдельно укажите правильность срока и наличие подтверждающего источника. Можно ли принять ответ только потому, что документ по ссылке существует?

Показать ответ и решение

Решение. Первый ответ проходит обе проверки. Во втором неверен срок: документ A говорит о 30 днях. В третьем срок верен, но документ B описывает временные выгрузки, поэтому не подтверждает утверждение о журнале эксперимента. Ссылка на существующий документ устанавливает доступность источника, но не связь между его содержимым и ответом. В ноутбуке эти случаи проверяются по явно подготовленному эталону; такой тест не заменяет универсальную проверку свободного текста.