Современные LLM9 / 20

Модуль 9. Претрейн: данные, законы масштабирования, оптимизаторы

Выберите ответы и нажмите «Проверить». Для чисел подходят точка, запятая и простые дроби. Ответы и черновики сохраняются в этом браузере и общие для RU/EN.

Проверено: 0 / 18 · Верно: 0

Вопрос 9.4.1

9.4. Формализм: бюджет, эмпирическая модель и аналитический оптимум

Что оптимизирует закон вычислительно-оптимального масштабирования при ограничении $C=6ND$ ?

Один правильный вариантAКак разделить фиксированный вычислительный бюджет между параметрами и даннымиBЧисло шагов обучения при заранее выбранном размере моделиCСкорость сходимости оптимизатора при фиксированном расписании

A) Как разделить фиксированный вычислительный бюджет между параметрами и данными

B) Число шагов обучения при заранее выбранном размере модели

C) Скорость сходимости оптимизатора при фиксированном расписании

Ответ и разбор

Правильный ответ: A. Закон отвечает на вопрос «как распределить заданный вычислительный бюджет», а не «какой бюджет вообще нужен». Оптимум выбирает $N$ и $D$ так, чтобы минимизировать аппроксимированную функцию потерь.

Вопрос 9.4.2

9.4. Формализм: бюджет, эмпирическая модель и аналитический оптимум

Для бюджета $7.23\cdot10^{23}$ FLOP аналитический оптимум выбранной аппроксимации даёт $N=35.7$ B и $D=3.38$ T. Чему равно $D/N$ ?

Один правильный вариантAРовно 20 токенов на параметрB94.7 — почти сто токенов на параметрC1868 — как в сценарии Llama 3 8B/15T

A) Ровно 20 токенов на параметр

B) 94.7 — почти сто токенов на параметр

C) 1868 — как в сценарии Llama 3 8B/15T

Ответ и разбор

Правильный ответ: B. В этой аппроксимирующей зависимости показатели при $N$ и $D$ различаются, поэтому оптимальное отношение зависит от бюджета. Значение 94.7 относится к указанному расчёту и не является универсальной константой Chinchilla.

Вопрос 9.5.1

9.5. Данные: как сырой веб становится обучающим корпусом

Что показывает эффективное число эпох (effective epochs) для домена в смеси данных?

Один правильный вариантAЧисло шагов, после которого функция потерь на домене перестаёт снижатьсяBДолю домена в смеси без учёта размера его исходного корпусаCСколько раз в среднем модель использует объём уникальных токенов этого домена

A) Число шагов, после которого функция потерь на домене перестаёт снижаться

B) Долю домена в смеси без учёта размера его исходного корпуса

C) Сколько раз в среднем модель использует объём уникальных токенов этого домена

Ответ и разбор

Правильный ответ: C. Если небольшой домен получает заметный вес в смеси, его документы используются повторно. Эффективное число эпох измеряет интенсивность этого повторения; риск запоминания растёт постепенно и не имеет универсального порога «после четвёртой эпохи».

Вопрос 9.5.2

9.5. Данные: как сырой веб становится обучающим корпусом

В DCLM исходный сравнительный пул содержит около 240T токенов-кандидатов, а DCLM-Baseline обучается на 2.6T токенов. Почему эти числа нужно указывать отдельно?

Один правильный вариантAИсходный пул и отобранный обучающий объём описывают разные стадии конвейераB2.6T — это только объём проверочной выборки, не связанный с обучениемC240T учитывает байты, а 2.6T — токены после смены единиц

A) Исходный пул и отобранный обучающий объём описывают разные стадии конвейера

B) 2.6T — это только объём проверочной выборки, не связанный с обучением

C) 240T учитывает байты, а 2.6T — токены после смены единиц

Ответ и разбор

Правильный ответ: A. Исходный пул задаёт пространство, в котором сравнивают стратегии отбора. Объём конкретного запуска показывает, сколько выбранных токенов использовано при обучении.

Вопрос 9.6.1

9.6. Решённый пример A: два бюджета и цена упрощённого правила

Почему правило «20 токенов на параметр» может дать неверный оптимум?

Один правильный вариантAОно выведено для энкодерных моделей и не переносится на декодерныеBОтношение

D/N

само зависит от бюджета, а правило считает его постояннымCОно не учитывает размер словаря, входящий в число параметров модели

A) Оно выведено для энкодерных моделей и не переносится на декодерные

B) Отношение $D/N$ само зависит от бюджета, а правило считает его постоянным

C) Оно не учитывает размер словаря, входящий в число параметров модели

Ответ и разбор

Правильный ответ: B. При $\alpha\ne\beta$ оптимальные $N$ и $D$ растут с бюджетом с разными показателями, поэтому их отношение непостоянно. Для бюджета сценария Llama 3 упрощённое правило даёт 77.6B параметров против 35.7B в аналитическом оптимуме выбранной аппроксимации.

Вопрос 9.7.1

9.7. Геометрия isoFLOP — и решённое У1: цена долгого обучения маленькой модели

Что показывает isoFLOP-кривая?

Один правильный вариантAКак функция потерь убывает со временем при фиксированном размере моделиBКак растёт требуемый бюджет при повышении целевого качестваCФункцию потерь от

N

при постоянном бюджете, с минимумом в оптимуме

A) Как функция потерь убывает со временем при фиксированном размере модели

B) Как растёт требуемый бюджет при повышении целевого качества

C) Функцию потерь от $N$ при постоянном бюджете, с минимумом в оптимуме

Ответ и разбор

Правильный ответ: C. Долина слева от минимума, где N меньше сравнительно полога: более долгое обучение меньшей модели может увеличить аппроксимированную функцию потерь лишь немного. Эта геометрия делает осмысленными стратегии, уходящие в сторону большего числа токенов.

Вопрос 9.7.2

9.7. Геометрия isoFLOP — и решённое У1: цена долгого обучения маленькой модели

Llama-3 8B: 8.03B параметров и 15T токенов. Насколько это отходит от оптимума её бюджета?

Один правильный вариантAОтношение D/N около 1868 вместо 94.7 — почти в 20 раз больше в этом сравненииBМодель лежит точно в оптимуме: 15T — ровно то, что даёт законCМодель недотренирована: закон требовал бы около 30T токенов

A) Отношение D/N около 1868 вместо 94.7 — почти в 20 раз больше в этом сравнении

B) Модель лежит точно в оптимуме: 15T — ровно то, что даёт закон

C) Модель недотренирована: закон требовал бы около 30T токенов

Ответ и разбор

Правильный ответ: A. При $N$ аналитический оптимум выбранной аппроксимации равен 35.7B параметров и 3.38T токенов. Сценарий 8.03B/15T имеет надбавку $\Delta L=0.0258$ внутри этой функции, но использует модель примерно в 4.4 раза меньшего размера, что снижает плотную стоимость инференса.

Вопрос 9.8.1

9.8. За пределами Chinchilla: когда более долго обученная маленькая модель окупается

Почему целевая функция с учётом инференса может предпочесть меньшую модель и больше обучающих данных?

Один правильный вариантAБольшая модель всегда обучается дешевле и тем самым заранее окупает инференсBОбучение оплачивается один раз, а инференс — для каждого сгенерированного токенаCМеньшей модели всегда требуется более дорогой класс ускорителей

A) Большая модель всегда обучается дешевле и тем самым заранее окупает инференс

B) Обучение оплачивается один раз, а инференс — для каждого сгенерированного токена

C) Меньшей модели всегда требуется более дорогой класс ускорителей

Ответ и разбор

Правильный ответ: B. В учебной модели плотный decode стоит примерно $N$ FLOP на токен. Дополнительные вычисления при более долгом обучении малой модели могут окупиться на большом объёме генерации; в рассматриваемом сценарии точка окупаемости составляет около $2.12\cdot10^{12}$ токенов.

Вопрос 9.9.1

9.9. Стена данных: когда токены перестают быть взаимозаменяемыми

Что означает «стена данных»?

Один правильный вариантAОграничение на длину контекста, доступную при обучении моделиBПредел скорости чтения корпуса с диска на больших кластерахCПотребность в качественных данных может расти быстрее, чем пополняется их доступный пул

A) Ограничение на длину контекста, доступную при обучении модели

B) Предел скорости чтения корпуса с диска на больших кластерах

C) Потребность в качественных данных может расти быстрее, чем пополняется их доступный пул

Ответ и разбор

Правильный ответ: C. Доступные вычислительные мощности могут расти быстрее, чем пополняется корпус качественных, достаточно независимых данных. Отсюда повторное использование, синтетические данные и более тщательное курирование — разные способы увеличить полезный обучающий сигнал.

Вопрос 9.10.1

9.10. Оптимизаторы: зачем Muon выравнивает спектр обновления

В чём основная идея Muon для матричных параметров?

Один правильный вариантAСжать разброс сингулярных значений матрицы обновления короткой итерациейBМасштабировать шаг покоординатно по накопленному второму моментуCОбнулять компоненты обновления, чьи величины ниже порога отсечения

A) Сжать разброс сингулярных значений матрицы обновления короткой итерацией

B) Масштабировать шаг покоординатно по накопленному второму моменту

C) Обнулять компоненты обновления, чьи величины ниже порога отсечения

Ответ и разбор

Правильный ответ: A. Покоординатное масштабирование по моментам характерно для AdamW. Muon обрабатывает крупное обновление как матрицу и сжимает разброс её сингулярных значений короткой итерацией Ньютона–Шульца; для этих матриц он не хранит второй момент в стиле Adam. Конечное число квинтических итераций не делает все ненулевые сингулярные значения точно единичными.

Вопрос 9.10.2

9.10. Оптимизаторы: зачем Muon выравнивает спектр обновления

Какую матрицу Грама выгоднее строить для обновления 64×32?

Один правильный вариантA64×64 после сохранения ориентацииB32×32 после транспонированияC64×32 без умножения

A) 64×64 после сохранения ориентации

B) 32×32 после транспонирования

C) 64×32 без умножения

Ответ и разбор

Правильный ответ: B. Транспонирование делает левую матрицу Грама квадратной по меньшей размерности.

Вопрос 9.11.1

9.11. MuonClip: почему иногда надо исправлять не логиты, а веса

Что делает QK-Clip при обнаружении слишком больших логитов внимания?

Один правильный вариантAОбрезает сами логиты сверху, оставляя веса проекций нетронутымиBМасштабирует веса проекций q и k, возвращая логиты под порогCПропускает шаг оптимизатора для слоя, где произошёл выброс

A) Обрезает сами логиты сверху, оставляя веса проекций нетронутыми

B) Масштабирует веса проекций q и k, возвращая логиты под порог

C) Пропускает шаг оптимизатора для слоя, где произошёл выброс

Ответ и разбор

Правильный ответ: B. QK-Clip воздействует на источник чрезмерных билинейных логитов: масштабирует матрицы $N$ и $W_K$ , а не только значения одного прямого прохода. В отчёте Kimi K2 этот механизм описан как часть системы стабилизации запуска на 15.5T токенов; отсутствие скачков функции потерь относится ко всему обучающему запуску, а не доказывает изолированный эффект одного приёма.

Вопрос 9.11.2

9.11. MuonClip: почему иногда надо исправлять не логиты, а веса

От какой точки начинается рост логитов после коррекции?

Один правильный вариантAОт исходных максимумов до коррекцииBОт исправленных максимумовCВсегда от нуля

A) От исходных максимумов до коррекции

B) От исправленных максимумов

C) Всегда от нуля

Ответ и разбор

Правильный ответ: B. Иначе опыт моделирует ветвь, в которой коррекция не была применена.

Вопрос 9.12.1

9.12. Код (уровень 1): маленькие функции, которые не скрывают допущения

Зачем показанная реализация Ньютона–Шульца транспонирует высокую матрицу (строк больше, чем столбцов)?

Один правильный вариантAБез транспонирования любая высокая матрица обязательно вызывает расходимостьBТранспонирование заменяет матричное умножение поэлементнымCЧтобы строить меньшую левую матрицу Грама, а в конце восстановить исходную форму

A) Без транспонирования любая высокая матрица обязательно вызывает расходимость

B) Транспонирование заменяет матричное умножение поэлементным

C) Чтобы строить меньшую левую матрицу Грама, а в конце восстановить исходную форму

Ответ и разбор

Правильный ответ: C. Для M размера m×n при m>n транспонирование даёт X размера n×m и XXᵀ размера n×n вместо m×m. Выигрыш зависит от формы; универсального коэффициента 2 нет. Транспонирование результата возвращает форму M.

Вопрос 9.14.1

9.14. µP и MetaP: как переносить гиперпараметры с малой вспомогательной модели

Какую проблему решает µP?

Один правильный вариантAПеренос гиперпараметров с малой вспомогательной модели на более широкуюBУстойчивость обучения при переходе от bf16 к более низкой точностиCСогласование расписания темпа обучения с длиной корпуса

A) Перенос гиперпараметров с малой вспомогательной модели на более широкую

B) Устойчивость обучения при переходе от bf16 к более низкой точности

C) Согласование расписания темпа обучения с длиной корпуса

Ответ и разбор

Правильный ответ: A. Без согласованной параметризации подходящие масштабы и темп обучения могут заметно изменяться с шириной. µP задаёт семейство моделей, внутри которого настройка на малой вспомогательной модели переносится значительно надёжнее; это не обещание переноса между произвольными архитектурами.

Вопрос 9.15.1

9.15. Параллелизм: как разложить состояние модели по кластеру

Что означает идеальная нижняя граница памяти для ZeRO-3?

Один правильный вариантAМинимум, после которого обучение автоматически переходит на выгрузку в CPUBРаспределение параметров, градиентов и состояний оптимизатора; активации и буферы считаются отдельноCОбъём памяти одного слоя на одном ускорителе

A) Минимум, после которого обучение автоматически переходит на выгрузку в CPU

B) Распределение параметров, градиентов и состояний оптимизатора; активации и буферы считаются отдельно

C) Объём памяти одного слоя на одном ускорителе

Ответ и разбор

Правильный ответ: B. ZeRO-3 устраняет дублирование перечисленного состояния между процессами, но не делит тем же коэффициентом все виды памяти. Поэтому реальная пиковая память выше идеальной нижней границы из-за активаций, временных сборок, обменных буферов и фрагментации.

Вопрос 9.15.2

9.15. Параллелизм: как разложить состояние модели по кластеру

Для восьми стадий f=7/(m+7). Какое минимальное m даёт f строго меньше 5%?

Один правильный вариантA133B134C128

A) 133

B) 134

C) 128

Ответ и разбор

Правильный ответ: B. При m=133 получается ровно 5%; m=134 даёт 7/141 ≈ 4.965%.

Вопрос 9.16.1

9.16. Претрейн в 2026 году: не список приёмов, а четыре направления

Почему заявленное календарное время обучения нельзя напрямую приравнивать к арифметическому объёму вычислений $C\approx6ND$ ?

Один правильный вариантAВремя всегда указывают для одной карты, а формулу — для всего кластераBФормула учитывает только прямой проход, а время — прямой и обратныйCКалендарное время зависит не только от FLOP, но и от числа ускорителей, MFU, обмена данными и простоев

A) Время всегда указывают для одной карты, а формулу — для всего кластера

B) Формула учитывает только прямой проход, а время — прямой и обратный

C) Календарное время зависит не только от FLOP, но и от числа ускорителей, MFU, обмена данными и простоев

Ответ и разбор

Правильный ответ: C. $N$ оценивает полезную арифметическую работу. Для перевода в секунды нужны размер кластера и эффективная производительность; без MFU и учёта простоев одно число не определяет другое.