Современные LLM1 / 20

Модуль 1. Современный ландшафт LLM

Выберите ответы и нажмите «Проверить». Для чисел подходят точка, запятая и простые дроби. Ответы и черновики сохраняются в этом браузере и общие для RU/EN.

Проверено: 0 / 19 · Верно: 0

Вопрос 1.1.1

1.1. Зачем инженеру карта ландшафта

Что делает авторегрессионная языковая модель на очередном шаге?

Один правильный вариантAОдновременно выбирает все токены готового ответаBСамостоятельно подтверждает каждое утверждение внешним источникомCВычисляет оценки следующего токена по доступному контексту

A) Одновременно выбирает все токены готового ответа

B) Самостоятельно подтверждает каждое утверждение внешним источником

C) Вычисляет оценки следующего токена по доступному контексту

Ответ и разбор

Правильный ответ: C. Модель оценивает следующий токен; система выбирает его и повторяет шаг. Поиск источников и проверка ответа требуют отдельно описанных механизмов системы.

Вопрос 1.2.1

1.2. Как курс связывает объяснение и код

Что означает третья форма работы — чтение открытой реализации — в этом курсе?

Один правильный вариантAРазработка распределённого обучения и вычислительных ядер для промышленного сервисаBСопоставление изученного механизма с конфигурацией и выбранным участком исходного кодаCГарантия готовности программы к эксплуатации после запуска на GPU

A) Разработка распределённого обучения и вычислительных ядер для промышленного сервиса

B) Сопоставление изученного механизма с конфигурацией и выбранным участком исходного кода

C) Гарантия готовности программы к эксплуатации после запуска на GPU

Ответ и разбор

Правильный ответ: B. Мы читаем выбранные операции и связываем их с формулами. Разработка ядер, реализация распределённого обучения и промышленная эксплуатация требуют отдельного изучения. Итоговая MiniLLM остаётся обучаемой учебной моделью.

Вопрос 1.5.1

1.5. Два паспорта: модель и система

Что достовернее всего отвечает на вопрос «как устроен вычислительный граф»?

Один правильный вариантAПроверенный config.json вместе с кодом реализации моделиBНазвание модели и заявленный производителем класс размераCПозиция модели в публичном рейтинге на момент релиза

A) Проверенный config.json вместе с кодом реализации модели

B) Название модели и заявленный производителем класс размера

C) Позиция модели в публичном рейтинге на момент релиза

Ответ и разбор

Правильный ответ: A. Проверенные конфигурация и реализация позволяют проследить вычислительный граф. Название и место в рейтинге не определяют число KV-голов, устройство MoE или позиционный механизм.

Вопрос 1.5.2

1.5. Два паспорта: модель и система

Зачем рядом с паспортом модели нужен паспорт системы?

Один правильный вариантAЧтобы свести все метрики модели к одному числуBЧтобы скрыть точную версию весов при публикации результатаCЧтобы зафиксировать инструменты, разрешения, изоляцию, общую память и протокол оценки

A) Чтобы свести все метрики модели к одному числу

B) Чтобы скрыть точную версию весов при публикации результата

C) Чтобы зафиксировать инструменты, разрешения, изоляцию, общую память и протокол оценки

Ответ и разбор

Правильный ответ: C. Одинаковые веса дают разные возможности и риски при разных инструментах, сетевом доступе, общей памяти и ограничениях. Без системного паспорта результат или инцидент невозможно правильно воспроизвести и интерпретировать.

Вопрос 1.6.1

1.6. Ось I крупным планом: dense и MoE

В анонсе указано «1.6T total / 49B active». Что прежде всего определяет объём хранения весов?

Один правильный вариантA49B active: хранить нужно только экспертов, выбранных текущим токеномB1.6T total: полный банк весов должен быть доступен системе хранения и исполненияCОтношение 1.6T к 49B: память задаётся только коэффициентом разреженности

A) 49B active: хранить нужно только экспертов, выбранных текущим токеном

B) 1.6T total: полный банк весов должен быть доступен системе хранения и исполнения

C) Отношение 1.6T к 49B: память задаётся только коэффициентом разреженности

Ответ и разбор

Правильный ответ: B. Router выбирает экспертов для разных токенов, поэтому полный банк параметров должен быть доступен — локально или в распределённом размещении. Active даёт первый ориентир весовой части вычислений на токен, но не объёма всех весов.

Вопрос 1.6.2

1.6. Ось I крупным планом: dense и MoE

В карточке указаны разные active-параметры для prefill и decode. Как записать паспорт?

Один правильный вариантAОставить меньшее число для всех этаповBЗаписать оба числа с этапом и соглашением подсчётаCСложить их и назвать число размером весов

A) Оставить меньшее число для всех этапов

B) Записать оба числа с этапом и соглашением подсчёта

C) Сложить их и назвать число размером весов

Ответ и разбор

Правильный ответ: B. Активный путь может зависеть от этапа. Эти числа не заменяют общий объём параметров и не являются измеренной задержкой.

Вопрос 1.7.1

1.7. Решённый пример: gpt-oss-120b и Llama 4 Scout

gpt-oss-120b имеет 117B параметров и поставляется с MXFP4-весами. Как правильно читать размер артефакта?

Один правильный вариантA117B × 4.25/8 ≈ 57.89 GiB — точный полный размер официальных файловBФормат MXFP4 влияет только на скорость, поэтому артефакт остаётся около 218 GiBCИдеализированная оценка равна 57.89 GiB, а официальный исходный артефакт — около 60.77 GiB

A) 117B × 4.25/8 ≈ 57.89 GiB — точный полный размер официальных файлов

B) Формат MXFP4 влияет только на скорость, поэтому артефакт остаётся около 218 GiB

C) Идеализированная оценка равна 57.89 GiB, а официальный исходный артефакт — около 60.77 GiB

Ответ и разбор

Правильный ответ: C. 57.89 GiB получается при предположении одинаковой цены 4.25 бита для всех параметров. Официальный индекс исходных файлов сообщает 65,248,815,744 байта, то есть около 60.77 GiB: форматы тензоров, упаковка и служебные данные неоднородны.

Вопрос 1.7.2

1.7. Решённый пример: gpt-oss-120b и Llama 4 Scout

Что означает отношение 34/10.2 ≈ 3.33 в учебном сравнении Scout и gpt-oss-120b?

Один правильный вариантAОтношение весовых матричных FLOP на токен, но не гарантию такого же ускорения по времениBГарантированное отношение задержки на любой длине контекста и любом оборудованииCТолько отношение объёмов checkpoint; вычислительная работа у моделей одинакова

A) Отношение весовых матричных FLOP на токен, но не гарантию такого же ускорения по времени

B) Гарантированное отношение задержки на любой длине контекста и любом оборудовании

C) Только отношение объёмов checkpoint; вычислительная работа у моделей одинакова

Ответ и разбор

Правильный ответ: A. Оценка 2·N_active даёт около 34 против 10.2 GFLOP на токен для весовых матричных операций. Реальная задержка дополнительно зависит от attention, памяти, маршрутизации, обменов, batch size и kernels.

Вопрос 1.8.1

1.8. Ось II: контекст — число, качество и цена

Что именно означает заявленное окно контекста в 1M токенов?

Один правильный вариантAKV-кэш такого запроса гарантированно помещается на одном ускорителеBМодель принимает такую длину, а качество по позициям измеряется отдельноCМодель одинаково хорошо использует каждую из миллиона позиций входа

A) KV-кэш такого запроса гарантированно помещается на одном ускорителе

B) Модель принимает такую длину, а качество по позициям измеряется отдельно

C) Модель одинаково хорошо использует каждую из миллиона позиций входа

Ответ и разбор

Правильный ответ: B. Заявленное окно описывает поддерживаемую длину, но само по себе не гарантирует одинакового качества на всех позициях и задачах. Полезность далёких фрагментов измеряют на выбранном наборе задач; память KV рассчитывают отдельно по архитектуре и длине.

Вопрос 1.9.1

1.9. Ось III: модальности — вход, выход и место соединения

Почему метки «multimodal» недостаточно для сравнения двух моделей?

Один правильный вариантAОна не говорит, какие модальности на входе и выходе и где идёт fusionBМультимодальные модели используют один и тот же визуальный энкодерCМодальности не влияют ни на стоимость токена, ни на объём контекста

A) Она не говорит, какие модальности на входе и выходе и где идёт fusion

B) Мультимодальные модели используют один и тот же визуальный энкодер

C) Модальности не влияют ни на стоимость токена, ни на объём контекста

Ответ и разбор

Правильный ответ: A. Под одной меткой живут и «понимает картинку», и «генерирует звук». Ось III паспорта требует раздельно указывать вход, выход и способ соединения модальностей.

Вопрос 1.10.1

1.10. Ось IV: рассуждение — кто управляет вычислительным бюджетом

Чем configurable reasoning effort отличается от adaptive thinking?

Один правильный вариантAAdaptive-режим полностью отключает рассуждение ради скорости ответаBConfigurable-режим существует только у мультимодальных моделейCВызывающая сторона задаёт уровень effort; модель может адаптивно распределять вычисления

A) Adaptive-режим полностью отключает рассуждение ради скорости ответа

B) Configurable-режим существует только у мультимодальных моделей

C) Вызывающая сторона задаёт уровень effort; модель может адаптивно распределять вычисления

Ответ и разбор

Правильный ответ: C. При configurable effort вызывающая сторона задаёт уровень усилия; при adaptive thinking бюджет распределяется моделью или управляющей системой. Режимы могут сочетаться. Ни один сам по себе не гарантирует фиксированную стоимость, задержку или преимущество по качеству.

Вопрос 1.11.1

1.11. Ось V: доступ, лицензия и практическая открытость

Какое утверждение точнее всего описывает статус open weights?

Один правильный вариантAМодель разрешена для любого коммерческого применения без ограниченийBВеса опубликованы, но данные и training stack могут остаться закрытымиCВоспроизводимы данные, рецепт обучения, чекпойнты и обучающие логи

A) Модель разрешена для любого коммерческого применения без ограничений

B) Веса опубликованы, но данные и training stack могут остаться закрытыми

C) Воспроизводимы данные, рецепт обучения, чекпойнты и обучающие логи

Ответ и разбор

Правильный ответ: B. Опубликованные веса позволяют исследовать и запускать конкретный артефакт в пределах его лицензии. Доступность данных, кода обучения и логов проверяется отдельно: открытость имеет несколько независимых осей.

Вопрос 1.12.1

1.12. Ось VI: экономика — от цены токена к принятому ответу

Инструкция о журналах требует хранить их 30 дней, инструкция о временных выгрузках — удалять их через 7 дней. Ассистент отвечает о журнале «30 дней», но ссылается на инструкцию о выгрузках. В чём ошибка?

Один правильный вариантAИсточник существует, но правило о выгрузке не подтверждает срок хранения журналаBНичего: правильного числа достаточно для принятия ответаCОн обязательно ошибается и в числе дней

A) Источник существует, но правило о выгрузке не подтверждает срок хранения журнала

B) Ничего: правильного числа достаточно для принятия ответа

C) Он обязательно ошибается и в числе дней

Ответ и разбор

Правильный ответ: A. Число верно, но ссылка относится к другому объекту. Правильность ответа и подтверждение источником проверяются отдельно; существования документа недостаточно.

Вопрос 1.12.2

1.12. Ось VI: экономика — от цены токена к принятому ответу

Что нужно знать, чтобы оценить реальную стоимость задачи через API?

Один правильный вариантAТарифы, оплаченные токены, кэш, инструменты и все попытки выполненияBЦену входного токена и объём системного промпта в символахCЧисло total-параметров модели и класс используемого ускорителя

A) Тарифы, оплаченные токены, кэш, инструменты и все попытки выполнения

B) Цену входного токена и объём системного промпта в символах

C) Число total-параметров модели и класс используемого ускорителя

Ответ и разбор

Правильный ответ: A. В стоимость включаются все оплаченные попытки и инструменты, а также условия кэширования и тарифа. Для сравнения стоимости принятой задачи эту сумму делят на число результатов, прошедших одинаковую приёмку.

Вопрос 1.12.3

1.12. Ось VI: экономика — от цены токена к принятому ответу

Модель имеет 550B total и 55B active параметров. Каковы идеализированный 4-битный payload весов и весовая оценка вычислений на токен?

Один правильный вариантA275 GB и примерно 110 GFLOP/tokenB27.5 GB и примерно 55 GFLOP/tokenC1.10 TB и примерно 550 GFLOP/token

A) 275 GB и примерно 110 GFLOP/token

B) 27.5 GB и примерно 55 GFLOP/token

C) 1.10 TB и примерно 550 GFLOP/token

Ответ и разбор

Правильный ответ: A. При 4 битах на параметр: 550B × 4/8 = 275 GB. Весовая оценка decode: 2 × 55B = 110 GFLOP/token. Метаданные формата, attention, state и системные расходы считаются отдельно.

Вопрос 1.12.4

1.12. Ось VI: экономика — от цены токена к принятому ответу

Система потратила 2.80 USD на 100 задач, включая неудачные попытки; принято 80 результатов. Каковы расходы на принятую задачу?

Один правильный вариантA0.035 USDB0.028 USDC0.280 USD

A) 0.035 USD

B) 0.028 USD

C) 0.280 USD

Ответ и разбор

Правильный ответ: A. Делим все расходы на число принятых задач: 2.80 / 80 = 0.035 USD. Деление на 100 дало бы расходы на поставленную задачу.

Вопрос 1.13.1

1.13. Датированный справочник: API и доступность продуктов

Модель анонсирована и доступна только участникам закрытой программы. Каков её статус для обычного API-клиента?

Один правильный вариантAОбщедоступна: анонс достаточенBОткрытые веса: раз доступ дан кому-тоCОграниченный доступ; общий API не подтверждён

A) Общедоступна: анонс достаточен

B) Открытые веса: раз доступ дан кому-то

C) Ограниченный доступ; общий API не подтверждён

Ответ и разбор

Правильный ответ: C. Объявление, доступ отдельным участникам, общий API и публикация весов — разные события. В паспорте фиксируют только подтверждённый статус.

Вопрос 1.15.1

1.15. От публичного сигнала к доказательству: как читать результаты и инциденты

Почему результаты разработчиков разных моделей нельзя механически объединить в один рейтинг?

Один правильный вариантAЛюбые бенчмарк-оценки случайны и не несут полезного сигнала о моделиBСравнивать между собой корректно только модели с открытыми весамиCОни могут быть получены на разных обвязках, бюджетах, версиях наборов и с разным числом попыток

A) Любые бенчмарк-оценки случайны и не несут полезного сигнала о модели

B) Сравнивать между собой корректно только модели с открытыми весами

C) Они могут быть получены на разных обвязках, бюджетах, версиях наборов и с разным числом попыток

Ответ и разбор

Правильный ответ: C. Заявленное число может быть корректным для своей постановки, но несопоставимым с результатом другого harness, бюджета или версии набора. Единый рейтинг требует общего протокола — предмета М19.

Вопрос 1.17.1

1.17. Код (уровень 1): паспорт из проверенного config.json

Какой способ получить config.json делает результат воспроизводимым?

Один правильный вариантAЗагрузка ветки main и запись даты обращения рядом с результатомBРазрешение ветки в точный commit SHA с проверкой схемы и хешаCКопирование конфига из карточки модели или обзорной статьи в блоге

A) Загрузка ветки main и запись даты обращения рядом с результатом

B) Разрешение ветки в точный commit SHA с проверкой схемы и хеша

C) Копирование конфига из карточки модели или обзорной статьи в блоге

Ответ и разбор

Правильный ответ: B. Ветка подвижна: после следующего обновления тот же URL может отдать другой файл, и расчёт паспорта молча изменится. Воспроизводимость даёт неизменяемая ревизия, записанная вместе с результатом.