RL для LLM12 / 13

Модуль 12. Инфраструктура RL для LLM: память, роллауты и асинхронность

Выберите ответы и нажмите «Проверить». Для чисел подходят точка, запятая и простые дроби. Ответы и черновики сохраняются в этом браузере и общие для RU/EN.

Открытые вопросы и задания с кодом проверяются самостоятельно по авторскому разбору. Код на сайте не запускается.

Проверено: 0 / 10 · Верно: 0

Вопрос P01 · Размещение не определяет синхронность

Система использует отдельный сервер vLLM для генерации и отдельный процесс тренера. Какое утверждение верно?

Один правильный вариант1Система по определению асинхронна.2Система может оставаться синхронной, если тренер ждёт завершения всего пакета, а следующая генерация начинается только после обновления.3Раздельное размещение автоматически устраняет данные другой политики.4Раздельное размещение гарантирует меньший пик суммарной памяти кластера.

Система по определению асинхронна.

Система может оставаться синхронной, если тренер ждёт завершения всего пакета, а следующая генерация начинается только после обновления.

Раздельное размещение автоматически устраняет данные другой политики.

Раздельное размещение гарантирует меньший пик суммарной памяти кластера.

Ответ и разбор

Правильный ответ: B.

Размещение отвечает на вопрос, где выполняются роли. Синхронность отвечает на вопрос, в каком порядке допускаются генерация и обновление. Отдельный сервер может обслуживать строго синхронный цикл с барьером пакета. Он также не устраняет задержку политики и не гарантирует меньшую суммарную память: часть состояния может дублироваться на разных пулах.

Вопрос P02 · Логическая память полного обучения

Модель содержит 7 млрд параметров. Для профиля используются: 2 байта на параметр модели, 2 байта на градиент и 8 байт на два состояния Adam. Мастер-копии нет.

Найдите логическую память состояния полного обучения:

в десятичных гигабайтах GB;
в двоичных гибибайтах GiB.

Округлите GiB до двух знаков.

Память, GBАбсолютный допуск: ±0.000001Память, GiBАбсолютный допуск: ±0.005

Ответ и разбор

На один обучаемый параметр приходится

2+2+8=12\ \text{байт}.

Поэтому:

7\cdot 10^9\cdot 12=84\cdot 10^9\ \text{байт}=84.00\ \text{GB}.

В GiB:

\frac{84\cdot 10^9}{2^{30}}\approx 78.23\ \text{GiB}.

Это логическая бухгалтерия состояния модели. Она не включает активации, коммуникационные буферы, фрагментацию и временные полные сборки параметров.

Вопрос P03 · KV-кэш длинных ответов

Для учебной архитектуры заданы:

32 слоя;
8 KV-голов;
размерность головы 128;
bf16, то есть 2 байта на элемент;
16 последовательностей по 8192 сохранённых токена.

Оцените полезный объём KV-кэша в GiB. Не учитывайте страницы, таблицы блоков и временные буферы.

KV-кэш, GiBАбсолютный допуск: ±0.000001

Ответ и разбор

Используем

2+2+8=12\ \text{байт}.

Общее число токенов:

N_{\mathrm{tok}}=16\cdot8192=131072.

Тогда

B_{\mathrm{KV}} = 2\cdot32\cdot8\cdot128\cdot131072\cdot2 = 17179869184\ \text{байт} = 16\ \text{GiB}.

Фактор 2 соответствует ключам и значениям.

Вопрос P04 · Две оси архитектуры

Сопоставьте описание с одной из четырёх комбинаций.

Один пул GPU, генерация заканчивается до начала обучения.
Разные пулы GPU, но на каждом пакете стоит общий барьер.
Один пул GPU поочерёдно освобождает память и частично перекрывает подготовку данных.
Между отдельными пулами есть очередь, а тренер может потреблять роллауты нескольких версий.

Комбинации:

A. совместное размещение + синхронный порядок;
B. раздельное размещение + синхронный порядок;
C. совместное размещение + ограниченное перекрытие;
D. раздельное размещение + асинхронный порядок.

Сопоставьте каждый пункт с ответом1234

A) совместное размещение + синхронный порядок;

B) раздельное размещение + синхронный порядок;

C) совместное размещение + ограниченное перекрытие;

D) раздельное размещение + асинхронный порядок.

Ответ и разбор

Соответствие:

1 → A;
2 → B;
3 → C;
4 → D.

Задание подчёркивает, что размещение ролей и порядок потребления данных — независимые проектные оси.

Вопрос P05 · Время заполнения конвейера

Генерация одного пакета занимает $G=45$ с, обучение — $T=30$ с. Обработано $n=8$ пакетов.

Найдите:

последовательное время;
идеальное время двухступенчатого конвейера;
ускорение.

Округлите ускорение до трёх знаков.

Последовательное время, сАбсолютный допуск: ±0.000001Время конвейера, сАбсолютный допуск: ±0.000001УскорениеАбсолютный допуск: ±0.001

Ответ и разбор

Последовательный цикл:

2+2+8=12\ \text{байт}.

Идеальный двухступенчатый конвейер:

t_{\mathrm{pipe}} = G+T+(n-1)\max(G,T) = 45+30+7\cdot45 = 390\ \text{с}.

Ускорение:

\frac{600}{390}\approx1.538.

Формула предполагает независимые ресурсы и не учитывает обмен, очереди и разброс длительностей.

Вопрос P06 · Потери на медленном ответе

Четыре роллаута выполнялись одновременно 4, 4, 4 и 12 секунд. Пакет завершается только после самого медленного ответа.

Найдите полезную утилизацию совокупной ёмкости четырёх работников.

Доля полезной загрузкиАбсолютный допуск: ±0.000001

Ответ и разбор

Полезная работа:

2+2+8=12\ \text{байт}.

Доступная ёмкость до барьера:

4\cdot12=48\ \text{работник-секунд}.

Поэтому

U=\frac{24}{48}=0.5.

Половина ёмкости теряется в ожидании медленного ответа. Средняя длительность сама по себе этого не показывает.

Вопрос P07 · Первая проверка очереди

В очередь поступает в среднем 8 тысяч токенов в секунду, а тренер обрабатывает 10 тысяч токенов в секунду.

Найдите $\rho=\lambda/\mu$ .
Проходит ли система первую проверку устойчивости?
Почему этого ещё недостаточно для гарантии малых задержек?

ρАбсолютный допуск: ±0.000001

Автоматически проверяется только выбор или числовая часть. Объяснение сверьте с авторским разбором.

Ответ и разбор

Получаем

2+2+8=12\ \text{байт}.

Так как $\rho<1$ , средняя скорость обслуживания выше средней скорости поступления, и первая проверка устойчивости пройдена.

Но этого недостаточно: всплески, коррелированные длинные ответы, тяжёлые хвосты, паузы синхронизации и ограниченные буферы могут создавать большие очереди даже при $\rho<1$ . Нужны измерения распределения возраста данных и явное обратное давление.

Вопрос P08 · Эффективный размер выборки

Для четырёх роллаутов веса важности равны $(1,1,1,5)$ .

Найдите:

ESS;
нормированный ESS.

Округлите до четырёх знаков.

ESSАбсолютный допуск: ±0.0001Нормированный ESSАбсолютный допуск: ±0.0001

Ответ и разбор

Используем

2+2+8=12\ \text{байт}.

Сумма весов равна 8, сумма квадратов — 28:

\mathrm{ESS} = \frac{64}{28} = \frac{16}{7} \approx2.2857.

Нормированный ESS:

\frac{2.2857}{4} = \frac47 \approx0.5714.

Это диагностика концентрации весов, а не доказательство отсутствия смещения.

Вопрос P09 · Возраст по версиям

Текущая версия тренера равна 112. Роллауты были собраны версиями $(108,109,110,110)$ .

Найдите:

задержки по версиям;
среднюю задержку;
максимальную задержку.

Средняя задержкаАбсолютный допуск: ±0.000001Максимальная задержкаАбсолютный допуск: ±0

Автоматически проверяется только выбор или числовая часть. Объяснение сверьте с авторским разбором.

Ответ и разбор

Задержки:

2+2+8=12\ \text{байт}.

Средняя:

\bar L=\frac{4+3+2+2}{4}=2.75.

Максимум равен 4. Такая метрика осмысленна только при монотонной и однозначной схеме версий; для ветвящихся запусков одной цифры недостаточно.

Вопрос P10 · Интервал контрольных точек

Запись контрольной точки занимает $C=120$ с, а среднее время между отказами в упрощённой модели равно $M=8$ часов.

По формуле Янга

I^*=\sqrt{2CM}

найдите интервал в секундах и минутах.

Интервал, сАбсолютный допуск: ±0.01Интервал, минАбсолютный допуск: ±0.01

Ответ и разбор

Переведём 8 часов в секунды:

2+2+8=12\ \text{байт}.

Тогда

7\cdot 10^9\cdot 12=84\cdot 10^9\ \text{байт}=84.00\ \text{GB}.

Это приближение первого порядка. Реальная политика зависит от времени восстановления, многоуровневого хранения, корреляции сбоев и возможности асинхронной записи.

Вопрос P11 · Нулевая задержка, но ненулевое рассогласование

Роллаут и пересчёт логарифмов вероятностей выполняются с одной и той же версией весов, поэтому задержка политики равна нулю. Однако последовательностные логарифмы вероятностей различаются.

Назовите не менее четырёх возможных причин и правильный порядок диагностики.

Ваш ответ или заметки

Ответ и разбор

Возможные причины:

различие токенизации или шаблона диалога;
разные процессоры логитов и правила декодирования;
разные формы маски и причинного сдвига;
другая точность или порядок редукций;
разные реализации операций и параллельные раскладки;
ошибка в восстановлении выбранных токенов.

Порядок диагностики: зафиксировать токены и маски, сравнить дообработанные логиты и логарифмы вероятностей на нулевой задержке, локализовать первый расходящийся токен, и только затем исследовать данные другой политики. Поправка важности не должна маскировать ошибку контракта.

Вопрос P12 · Какой пакет можно принять

Сборщик прислал токены, маску ответа, награду и policy_version, но не сохранил:

версию токенизатора и шаблона;
параметры декодирования;
версию проверяющей системы;
признак истинного завершения и внешнего усечения.

Можно ли использовать пакет для обновления? Что нужно сделать?

Ваш ответ или заметки

Ответ и разбор

Автоматически принимать такой пакет нельзя. Версия весов не определяет политику поведения полностью: её меняют токенизация, шаблон и декодирование. Без версии проверяющей системы неизвестно происхождение награды, а без семантики остановки нельзя корректно строить бутстрэппинг и маски.

Правильное действие — отклонить пакет или поместить его в карантин, восстановить недостающие поля только из надёжного неизменяемого журнала и после этого повторно пройти схему валидации. «Додумать» значения по текущей конфигурации нельзя.