Выберите ответы и нажмите «Проверить». Для чисел подходят точка, запятая и простые дроби. Ответы и черновики сохраняются в этом браузере и общие для RU/EN.
Для автоматической проверки включите JavaScript. Вопросы и раскрываемые ответы доступны ниже.
Проверено: 0 / 19 · Верно: 0
Сбросить прогресс Вопрос 13.4.1 13.4. Формат данных: шаблон является частью модели
Почему шаблон диалога (chat template) является частью обучающего контракта, а не просто оформлением?
A) Он определяет, какие роли разрешено хранить в наборе данных независимо от токенизатора
B) Он создаёт новые токены словаря непосредственно во время SFT
C) Он задаёт сериализацию, которую модель должна видеть и при обучении, и при инференсе
Ответ и разбор Правильный ответ: C. Шаблон превращает роли, границы сообщений, инструменты и завершение хода в конкретные токены. Несовпадение шаблонов может снижать качество без явной ошибки выполнения.
Вопрос 13.5.1 13.5. Маскирование функции потерь и пример A: 21 токен из 56
В сценарии с функцией потерь только по ответу ассистента что записывают в labels для системных и пользовательских токенов?
A) −100, чтобы эти позиции не давали прямого слагаемого в функции потерь
B) Идентификатор паддинга, чтобы строки имели одинаковую длину перед вычислением потерь
C) Идентификатор исходного токена, умноженный на нулевой вес
Ответ и разбор Правильный ответ: A. При ignore_index=-100 токены остаются во входном контексте, но не становятся прямыми целями кросс-энтропии. Полная потеря по последовательности возможна в других рецептах, однако это уже иная цель.
Вопрос 13.5.2 13.5. Маскирование функции потерь и пример A: 21 токен из 56
Диалог содержит 56 токенов, а ответ ассистента — 20 токенов. Какова обучаемая доля, если терминатор ответа тоже входит в цель?
A) 35,7%: обучается только содержимое ответа
B) 37,5%: к двадцати токенам ответа добавляется терминатор
C) 71,4%: обучаются ответ и предшествующая реплика пользователя
Ответ и разбор Правильный ответ: B. ( 20 + 1 ) / 56 = 37,5 % (20+1)/56=37{,}5\% ( 20 + 1 ) /56 = 37 , 5%
Вопрос 13.5.3 13.5. Маскирование функции потерь и пример A: 21 токен из 56
Каков главный риск, если завершающий токен ответа исключён из целевой области SFT?
A) Функция потерь обязательно станет бесконечной на первой эпохе
B) Модель начнёт завершать каждый ответ сразу после первого токена
C) SFT не будет напрямую обучать модель завершать ход в нужной точке
Ответ и разбор Правильный ответ: C. Базовая модель всё ещё может останавливаться, но демонстрации не дают прямого сигнала для требуемого терминатора. Поэтому границы ответа проверяют по токенам, а не только по средней функции потерь.
Вопрос 13.5.4 13.5. Маскирование функции потерь и пример A: 21 токен из 56
Что сравнивается с labels[t] при причинном обучении?
A) logits[t−1]
B) logits[t+1]
C) Любая строка того же пакета
Ответ и разбор Правильный ответ: A. Метка хранит ID в собственной позиции, а предсказывает его предыдущая позиция. Сдвиг выполняется один раз.
Вопрос 13.6.1 13.6. Упаковка примеров и пример B: 24 последовательности → 5 контейнеров
Что означает результат упаковки FFD «24 примера → 5 контейнеров» при длине 2048?
A) Число дополненных строк уменьшилось, а утилизация выросла с 17,7% до 84,9%
B) Реальная скорость обучения гарантированно выросла ровно в 4,8 раза
C) Каждый контейнер содержит одинаковое число исходных примеров
Ответ и разбор Правильный ответ: A. Расчёт измеряет число строк фиксированной длины и устранённый паддинг. Реальное время зависит от ядра внимания, формы пакета, загрузки устройства и накладных расходов.
Вопрос 13.6.2 13.6. Упаковка примеров и пример B: 24 последовательности → 5 контейнеров
Зачем упакованным примерам блочно-диагональная маска внимания?
A) Чтобы позиции разных примеров получили независимые индексы RoPE
B) Иначе примеры в одном бине видят друг друга и учатся на чужом
C) Чтобы FlashAttention смог обработать бин одним вызовом ядра
Ответ и разбор Правильный ответ: B. Без изоляции токен одного диалога может зависеть от постороннего текста в том же контейнере. EOS обозначает границу, но сам по себе не удаляет рёбра внимания между примерами.
Вопрос 13.6.3 13.6. Упаковка примеров и пример B: 24 последовательности → 5 контейнеров
Как устранить целевую пару между концом A и началом B при упаковке?
A) Исключить первую метку каждого сегмента
B) Только сбросить position_ids
C) Только поставить EOS между примерами
Ответ и разбор Правильный ответ: A. Маска внимания не исправляет ошибочную пару логит–метка после глобального сдвига.
Вопрос 13.7.1 13.7. Гиперпараметры и стоимость этапа: пример C
Что следует из учебного сравнения 3,47 ⋅ 10 19 3{,}47\cdot10^{19} 3 , 47 ⋅ 1 0 19 7,23 ⋅ 10 23 7{,}23\cdot10^{23} 7 , 23 ⋅ 1 0 23
A) Любой SFT всегда ровно в 20 833 раза дешевле любого претрейна
B) Эти этапы требуют одинакового числа вычислений при равном размере модели
C) В этих сценариях отношение равно 20 833; 24,33 часа — отдельная оценка
Ответ и разбор Правильный ответ: C. Отношение относится к явно заданным числам токенов и эпох. Оценка времени дополнительно предполагает 990 TFLOP/s и MFU 0,4; это не измеренный промышленный запуск.
Вопрос 13.7.2 13.7. Гиперпараметры и стоимость этапа: пример C
Почему чрезмерная скорость обучения особенно рискованна при коротком SFT?
A) Большой шаг может быстро увести веса от полезного претрейн-состояния
B) AdamW не успевает создать состояния оптимизатора за несколько эпох
C) Большой шаг автоматически снимает маску с пользовательских токенов
Ответ и разбор Правильный ответ: A. Набор для SFT сравнительно мал, поэтому крупные обновления могут вызвать деградацию общих возможностей или переобучение. Диапазон скорости обучения проверяют по удержанным навыкам и поведению.
Вопрос 13.8.1 13.8. Данные I: не каталог, а карта функций
Почему число строк в публичном наборе инструкций не определяет его качество?
A) Большие наборы всегда полностью синтетические
B) Строки могут быть дублями, ошибками или не покрывать нужные решения
C) SFT использует только число примеров и не зависит от числа токенов
Ответ и разбор Правильный ответ: B. Для SFT важны корректность, разнообразие, покрытие целевых навыков, лицензии и отсутствие утечек. Большой объём не компенсирует систематически плохие демонстрации.
Вопрос 13.9.1 13.9. Данные II: чему действительно учит LIMA
Какой осторожный вывод поддерживает работа LIMA?
A) Современным моделям больше не требуется дообучение на инструкциях после претрейна
B) Ровно 1000 примеров достаточно для любой модели и любой предметной области
C) Сильная базовая модель может адаптироваться на 1000 тщательно отобранных демонстрациях
Ответ и разбор Правильный ответ: C. LIMA показывает ценность отбора и качества для уже сильной 65B-модели. Результат не задаёт универсальный минимальный размер данных для всех навыков и моделей.
Вопрос 13.9.2 13.9. Данные II: чему действительно учит LIMA
Когда следует разделить семейства исходных задач на обучение и проверку?
A) До создания переформулировок и синтетических ответов
B) После случайного перемешивания всех ответов
C) Только после обучения
Ответ и разбор Правильный ответ: A. Производные одной задачи остаются в одном разделе, иначе проверка может содержать знакомое содержание.
Вопрос 13.10.1 13.10. Синтетические данные и пример E: best-of-N с верификатором
Зачем конвейеру синтетических данных нужен верификатор?
A) Модель-генератор уверенно производит и правильные, и неверные примеры
B) Он нужен для дедупликации сгенерированных примеров между собой
C) Он приводит стиль сгенерированных ответов к единому шаблону
Ответ и разбор Правильный ответ: A. Генератор может уверенно выдавать как верные, так и ошибочные примеры. Компилятор, тесты, решатель или сверка с эталоном превращают генерацию в процесс с проверяемой приёмкой.
Вопрос 13.11.1 13.11. SFT на решениях и пример F: что означают «девять минут»
Чем SFT на развёрнутых решениях отличается от обучения только на финальных ответах?
A) Он всегда требует отдельной роли reasoning в шаблоне
B) Промежуточные шаги становятся целями, поэтому ученик имитирует ход решения
C) Он обязательно выполняется после оптимизации по предпочтениям
Ответ и разбор Правильный ответ: B. Когда решение входит в целевую область, модель получает токен-уровневый сигнал по промежуточным шагам. Вместе с полезными приёмами могут переноситься ошибки, многословие и стиль учителя.
Вопрос 13.12.1 13.12. SFT для работы с инструментами
Что должно быть представлено в полном цикле демонстрации «вызов → наблюдение → реакция»?
A) Инструмент должен быть доступен во время обучения для проверки вызова
B) Пример обязан содержать хотя бы два разных инструмента подряд
C) И сам вызов, и ответ инструмента, и вывод модели после него
Ответ и разбор Правильный ответ: C. Пример должен охватывать решение вызвать инструмент, структурированный вызов, наблюдение среды и дальнейшую реакцию ассистента. Сам результат инструмента обычно служит контекстом, а не целевым текстом модели.
Вопрос 13.15.1 13.15. Дистилляция: что именно переносит учитель
Чем дистилляция по распределениям отличается от дистилляции по одному ответу?
A) Ученик приближает вероятности учителя, а не только одну выбранную последовательность
B) Она возможна только при полностью одинаковой архитектуре учителя и ученика
C) Ученик обязан выбирать тот же наиболее вероятный токен на каждом шаге
Ответ и разбор Правильный ответ: A. Мягкие цели передают вероятности альтернатив. Доступ возможен через логиты или непосредственно через распределения; события учителя и ученика должны быть согласованы. Совпадение argmax само по себе не означает совпадения распределений.
Вопрос 13.16.1 13.16. PEFT и пример D: сколько действительно обучает LoRA
Почему LoRA уменьшает память под состояния оптимизатора?
A) Все состояния автоматически хранятся в четырёх битах
B) Оптимизатор ведёт состояния только для обучаемых параметров адаптера
C) Моменты пересчитываются с нуля на каждом шаге и не сохраняются
Ответ и разбор Правильный ответ: B. Базовые веса заморожены, поэтому градиенты и состояния оптимизатора нужны только для адаптеров. Полная память всё равно включает базовые веса, активации, буферы и накладные расходы.
Вопрос 13.16.2 13.16. PEFT и пример D: сколько действительно обучает LoRA
208 MiB уже включают веса адаптера. Что добавить к 4-битной базе?
A) 208 MiB
B) 208 MiB плюс ещё 26 MiB весов
C) Только 26 MiB
Ответ и разбор Правильный ответ: A. В выбранных 16 байтах на параметр веса учтены один раз вместе с градиентом, основной копией и моментами.