Современные LLM15 / 20

Модуль 15. Модели рассуждения и вычисления во время инференса (test-time compute)

Выберите ответы и нажмите «Проверить». Для чисел подходят точка, запятая и простые дроби. Ответы и черновики сохраняются в этом браузере и общие для RU/EN.

Проверено: 0 / 19 · Верно: 0

Вопрос 15.1.1

15.1. Мотивация: вторая ось масштабирования

Чем последовательная глубина отличается от параллельной ширины при test-time compute?

Один правильный вариантAГлубина увеличивает размер модели, а ширина — длину контекстаBГлубина развивает одну траекторию, а ширина создаёт несколько кандидатовCГлубина применяется только к математике, а ширина — только к коду

A) Глубина увеличивает размер модели, а ширина — длину контекста

B) Глубина развивает одну траекторию, а ширина создаёт несколько кандидатов

C) Глубина применяется только к математике, а ширина — только к коду

Ответ и разбор

Правильный ответ: B. Последовательный бюджет продолжает одну линию поиска. Параллельный бюджет расширяет выборку независимых или частично независимых решений; затем требуется правило отбора.

Вопрос 15.5.1

15.5. Рецепт DeepSeek-R1 и феномен R1-Zero

Что в первую очередь продемонстрировала DeepSeek-R1-Zero?

Один правильный вариантAДлинные рассуждения возникают только после SFT на человеческих цепочках рассужденияBДистилляция всегда даёт более сильную модель, чем обучение с подкреплениемCRL с проверяемой наградой может породить стратегии рассуждения без предварительного SFT на цепочках

A) Длинные рассуждения возникают только после SFT на человеческих цепочках рассуждения

B) Дистилляция всегда даёт более сильную модель, чем обучение с подкреплением

C) RL с проверяемой наградой может породить стратегии рассуждения без предварительного SFT на цепочках

Ответ и разбор

Правильный ответ: C. R1-Zero изолировала RL-механизм. Самопроверка и удлинение траекторий возникли без холодного SFT-старта, хотя читаемость и стабильность формата оказались хуже. Отправной точкой была предварительно обученная DeepSeek-V3-Base.

Вопрос 15.6.1

15.6. Параллельное масштабирование: решённый пример A — сюрприз голосования

Для независимых попыток при p = 0.4 и шести равновероятных дистракторах чему равен успех голосования при N = 3, если ничья считается провалом?

Один правильный вариантA0.352 — меньше, чем у одной попыткиB0.400 — точно как у одной попыткиC0.596 — больше, чем при пяти попытках

A) 0.352 — меньше, чем у одной попытки

B) 0.400 — точно как у одной попытки

C) 0.596 — больше, чем при пяти попытках

Ответ и разбор

Правильный ответ: A. Вероятность ничьей на первом месте равна 0.48. Поэтому правило разрешения ничьих является частью алгоритма: при случайном выборе моды успех вырос бы до 0.472.

Вопрос 15.6.2

15.6. Параллельное масштабирование: решённый пример A — сюрприз голосования

Что обязательно нужно зафиксировать в протоколе self-consistency?

Один правильный вариантAТолько температуру и параметры выборки при генерацииBНормализацию ответов и правило разрешения ничьихCТолько порядок запуска кандидатов на одном ускорителе

A) Только температуру и параметры выборки при генерации

B) Нормализацию ответов и правило разрешения ничьих

C) Только порядок запуска кандидатов на одном ускорителе

Ответ и разбор

Правильный ответ: B. Текстово разные ответы могут быть математически эквивалентны, а политика ничьей заметно меняет результат. Без этих правил число нельзя воспроизвести.

Вопрос 15.7.1

15.7. Решённый пример B: верификатор вместо голосования

Что означает величина 1 − (1 − p)^N?

Один правильный вариантAВероятность правильного результата после голосования большинствомBВероятность безошибочной оценки всех N кандидатов верификаторомCВероятность появления хотя бы одного правильного ответа среди N кандидатов

A) Вероятность правильного результата после голосования большинством

B) Вероятность безошибочной оценки всех N кандидатов верификатором

C) Вероятность появления хотя бы одного правильного ответа среди N кандидатов

Ответ и разбор

Правильный ответ: C. При независимых одинаково распределённых попытках это покрытие правильного ответа — верхняя граница для отбора. Оно не гарантирует распознавания правильного кандидата.

Вопрос 15.7.2

15.7. Решённый пример B: верификатор вместо голосования

Почему слабый верификатор может перестать улучшаться или даже ухудшиться при росте числа кандидатов?

Один правильный вариантAПри большем N у убедительной ошибки больше шансов получить высокий балл проверяющегоBПри росте N вероятность появления правильного кандидата обязательно уменьшаетсяCПосле N = 8 проверяющий модуль перестаёт учитывать первые кандидаты

A) При большем N у убедительной ошибки больше шансов получить высокий балл проверяющего

B) При росте N вероятность появления правильного кандидата обязательно уменьшается

C) После N = 8 проверяющий модуль перестаёт учитывать первые кандидаты

Ответ и разбор

Правильный ответ: A. Поиск оптимизирует оценку проверяющего модуля. Расширяя набор, система расширяет и пространство ложноположительных кандидатов и возможных лазеек. В модели равномерного отбора с постоянными TPR > FPR кривая растёт к пределу; падение требует другого механизма, например поиска экстремальной шумной оценки.

Вопрос 15.7.3

15.7. Решённый пример B: верификатор вместо голосования

При p=0.4, TPR=0.9 и FPR=0.05 чему стремится точность равномерного отбора среди принятых при большом N?

Один правильный вариантA12/13 ≈ 0.923B0.9, всегда равна TPRC1, независимо от верификатора

A) 12/13 ≈ 0.923

B) 0.9, всегда равна TPR

C) 1, независимо от верификатора

Ответ и разбор

Правильный ответ: A. Предел равен p·TPR / [p·TPR + (1−p)·FPR], то есть доле правильных среди принятых.

Вопрос 15.8.1

15.8. Последовательное масштабирование и budget forcing

Что делает budget forcing в работе s1?

Один правильный вариантAМеняет веса модели во время обработки пользовательского запросаBУправляет моментом завершения и тем самым длиной одной траекторииCЗапускает несколько независимых моделей и усредняет их ответы

A) Меняет веса модели во время обработки пользовательского запроса

B) Управляет моментом завершения и тем самым длиной одной траектории

C) Запускает несколько независимых моделей и усредняет их ответы

Ответ и разбор

Правильный ответ: B. Метод вмешивается в декодирование: может добавить продолжение Wait или принудительно перевести модель к финальному ответу. Нового обновления весов не происходит.

Вопрос 15.9.1

15.9. Когда думать дольше — хуже

Что означает overthinking в контексте моделей рассуждения?

Один правильный вариантAKV-кэш полностью заполняет всю доступную память ускорителяBМодель всегда исчерпывает лимит токенов и не успевает сформировать ответCПродолжение рассуждения портит уже правильный или потенциально правильный ответ

A) KV-кэш полностью заполняет всю доступную память ускорителя

B) Модель всегда исчерпывает лимит токенов и не успевает сформировать ответ

C) Продолжение рассуждения портит уже правильный или потенциально правильный ответ

Ответ и разбор

Правильный ответ: C. Зависимость качества от длины может быть немонотонной: модель способна отказаться от правильного решения, повторяться или развить раннюю ошибку.

Вопрос 15.10.1

15.10. Решённый пример C: учебная лестница бюджета в секундах и FLOP

Как следует интерпретировать учебную лестницу 1K, 4K, 16K и 64K токенов в модуле?

Один правильный вариантAКак прозрачный сценарий стоимости, а не как официальные уровни конкретного APIBКак точное соответствие low, medium, high и max у всех поставщиковCКак измерение скорости одной опубликованной промышленной системы

A) Как прозрачный сценарий стоимости, а не как официальные уровни конкретного API

B) Как точное соответствие low, medium, high и max у всех поставщиков

C) Как измерение скорости одной опубликованной промышленной системы

Ответ и разбор

Правильный ответ: A. Лестница фиксирует допущения курса: 8.03B и 209.4 токена/с. Названия и бюджеты режимов поставщиков не стандартизированы.

Вопрос 15.11.1

15.11. Решённый пример D: KV-цена мысли

Для 512 токенов учебная модель даёт 0,0625 GiB KV-памяти. Что означает оценка (80 − 14,96) / 0,0625 ≈ 1040?

Один правильный вариантAПропускную способность около 80 токенов в секундуBВерхнюю границу только по KV около 1040 одновременных последовательностейCМинимальную длину контекста около 512 тысяч токенов

A) Пропускную способность около 80 токенов в секунду

B) Верхнюю границу только по KV около 1040 одновременных последовательностей

C) Минимальную длину контекста около 512 тысяч токенов

Ответ и разбор

Правильный ответ: B. Из 80 GiB сначала вычитается около 14,96 GiB для bf16-весов модели 8,03B, а остаток делится на KV-память одной 512-токенной последовательности. Это лишь верхняя граница: рабочие буферы, фрагментация и планировщик уменьшают достижимое значение. Входной префикс и резерв в этом сценарии равны нулю.

Вопрос 15.11.2

15.11. Решённый пример D: KV-цена мысли

KV занимает 128 KiB на токен. Сколько нужно для запроса 4096 токенов и продолжения 4000 при полном кэше?

Один правильный вариантA0.98828125 GiBB0.48828125 GiBC128 GiB

A) 0.98828125 GiB

B) 0.48828125 GiB

C) 128 GiB

Ответ и разбор

Правильный ответ: A. 128·1024·(4096+4000) / 2³⁰ = 0.98828125. Второй вариант учитывает только продолжение.

Вопрос 15.12.1

15.12. Решённый пример E: зачем нужен адаптивный бюджет

В учебной смеси 70% запросов получают бюджет 500 токенов, 20% — 4K и 10% — 32K. Чему равен средний бюджет?

Один правильный вариантA8,00K токенов на запросB32,00K токенов на запросC4,35K токена на запрос

A) 8,00K токенов на запрос

B) 32,00K токенов на запрос

C) 4,35K токена на запрос

Ответ и разбор

Правильный ответ: C. Взвешенное среднее равно 0,70·500 + 0,20·4K + 0,10·32K = 4,35K токена. По сравнению с фиксированным бюджетом 32K это учебный выигрыш по среднему числу генерируемых токенов примерно в 7,36 раза. Для расхода, а не назначенного лимита, нужно дополнительно предположить, что все бюджеты израсходованы целиком.

Вопрос 15.12.2

15.12. Решённый пример E: зачем нужен адаптивный бюджет

Почему максимальный фиксированный бюджет не является универсально безопасным выбором?

Один правильный вариантAПри фактическом продолжении он тратит время и память и может ухудшать ответыBОн автоматически отключает проверяющие модули, инструменты и повторную выборкуCОн неизбежно снижает вероятность появления хотя бы одного правильного кандидата

A) При фактическом продолжении он тратит время и память и может ухудшать ответы

B) Он автоматически отключает проверяющие модули, инструменты и повторную выборку

C) Он неизбежно снижает вероятность появления хотя бы одного правильного кандидата

Ответ и разбор

Правильный ответ: A. Важен фактический расход, а не только лимит. Продолжение генерации увеличивает время и KV-память и может приводить к избыточному рассуждению. При высоком лимите модель вправе остановиться раньше; качество нужно измерять вместе с затратами.

Вопрос 15.12.3

15.12. Решённый пример E: зачем нужен адаптивный бюджет

Симуляция заранее вычислила все 16 кандидатов, затем смоделировала остановку на четвёртом. Что действительно сократилось?

Один правильный вариантAЧисло кандидатов, просмотренных моделируемой политикойBФактически выполненные вызовы генератораCПамять уже созданного массива автоматически

A) Число кандидатов, просмотренных моделируемой политикой

B) Фактически выполненные вызовы генератора

C) Память уже созданного массива автоматически

Ответ и разбор

Правильный ответ: A. Чтобы избежать генерации, решение об остановке должно приниматься до следующего вызова. Это реализовано в поиске программ.

Вопрос 15.15.1

15.15. Кто проверяет решение: от точного правила до верификатора рассуждений

Чем process reward model отличается от outcome reward model?

Один правильный вариантAОна оценивает промежуточные шаги, а не только итог решенияBОна обязательно использует ядро формальной проверкиCОна применяется только во время обучения и никогда при отборе

A) Она оценивает промежуточные шаги, а не только итог решения

B) Она обязательно использует ядро формальной проверки

C) Она применяется только во время обучения и никогда при отборе

Ответ и разбор

Правильный ответ: A. Пошаговый сигнал помогает локализовать ошибку и отсекать ветви. Человеческая разметка может быть дорогой; существуют и автоматически построенные метки. В обоих случаях нужно проверять их качество и перенос между задачами.

Вопрос 15.16.1

15.16. Дистилляция рассуждений: что переносится, а что нет

Что переносит обучение на траекториях рассуждения учителя?

Один правильный вариантAСкрытые веса, внутренние состояния и полную вычислительную ёмкость учителяBНаблюдаемые форматы, операции и процедуры, показанные в обучающих трассахCОфициальные настройки бюджета и параметры закрытого API учителя

A) Скрытые веса, внутренние состояния и полную вычислительную ёмкость учителя

B) Наблюдаемые форматы, операции и процедуры, показанные в обучающих трассах

C) Официальные настройки бюджета и параметры закрытого API учителя

Ответ и разбор

Правильный ответ: B. Обучающие траектории могут научить новым процедурам и знаниям, поскольку веса ученика обновляются. Перенос всей способности учителя не гарантирован; обобщение проверяется отдельно.

Вопрос 15.17.1

15.17. Как читать «паспорт рассуждения» модели

Что должен различать паспорт модели рассуждения?

Один правильный вариантAСредний результат на одном открытом тесте при одной фиксированной настройкеBМаксимальную длину ответа, размер контекста и имя моделиCГлубину траектории, ширину поиска, видимость, тарификацию и протокол инструментов

A) Средний результат на одном открытом тесте при одной фиксированной настройке

B) Максимальную длину ответа, размер контекста и имя модели

C) Глубину траектории, ширину поиска, видимость, тарификацию и протокол инструментов

Ответ и разбор

Правильный ответ: C. Один уровень усилия не описывает вычислительный контракт. Нужно знать, что масштабируется, что видит и оплачивает пользователь и как сохраняется состояние между вызовами.

Вопрос 15.14.1

15.14. Уровень 2: что находится в Jupyter-ноутбуке модуля

Почему оценка 1 достаточна для корректности программы в практике с многочленами?

Один правильный вариантAТри совпадения определяют многочлен степени не выше двухBДва теста достаточны для любого кодаCГенератор видел ответы скрытых тестов

A) Три совпадения определяют многочлен степени не выше двух

B) Два теста достаточны для любого кода

C) Генератор видел ответы скрытых тестов

Ответ и разбор

Правильный ответ: A. Одно значение задано генератору, два других проверены. Утверждение ограничено выбранной грамматикой.