Современные LLM16 / 20

Модуль 16. Мультимодальные LLM: зрение, аудио и видео

Выберите ответы и нажмите «Проверить». Для чисел подходят точка, запятая и простые дроби. Ответы и черновики сохраняются в этом браузере и общие для RU/EN.

Проверено: 0 / 19 · Верно: 0

Вопрос 16.2.1

16.2. Историческая прогрессия: четыре семейства, которые продолжают сосуществовать

Почему развитие мультимодальных моделей точнее описывать как сосуществование семейств, а не как смену эр?

Один правильный вариантAРазные семейства оптимизируют разные ограничения и продолжают применятьсяBКаждое новое семейство полностью сохраняет архитектуру предыдущего поколенияCИсторические названия не связаны с различиями обучения и инференса

A) Разные семейства оптимизируют разные ограничения и продолжают применяться

B) Каждое новое семейство полностью сохраняет архитектуру предыдущего поколения

C) Исторические названия не связаны с различиями обучения и инференса

Ответ и разбор

Правильный ответ: A. CLIP-подобный энкодер удобен для поиска, коннектор позволяет добавить зрение к готовой LLM, а объединённые мультимодальные системы связывают понимание входа с созданием текста, изображений или речи. Потоковые системы дополнительно учитывают задержку и чередование реплик. Новая топология не делает остальные семейства бесполезными.

Вопрос 16.4.1

16.4. Базовый рецепт VLM: энкодер, коннектор и языковой декодер

Когда визуальные признаки создают обычный KV-кэш языкового декодера?

Один правильный вариантAПри любом ViT-энкодере, даже если он связан с LLM через cross-attentionBПри вставке визуальных позиций в поток самовнимания декодераCТолько при генерации изображений тем же языковым декодером

A) При любом ViT-энкодере, даже если он связан с LLM через cross-attention

B) При вставке визуальных позиций в поток самовнимания декодера

C) Только при генерации изображений тем же языковым декодером

Ответ и разбор

Правильный ответ: B. KV-смета из модуля применима к визуальным позициям внутри обычного самовнимания декодера. Перекрёстное внимание или отдельная визуальная память требуют другой модели стоимости.

Вопрос 16.5.1

16.5. CLIP, SigLIP и пример C: читаем InfoNCE числом

Чему равна функция потерь InfoNCE в учебном примере при температуре τ=0.1?

Один правильный вариантA0.643738 — значение при τ=0.5B1.386294 — значение для равномерных сходствC0.007409 — результат более острой softmax-конкуренции

A) 0.643738 — значение при τ=0.5

B) 1.386294 — значение для равномерных сходств

C) 0.007409 — результат более острой softmax-конкуренции

Ответ и разбор

Правильный ответ: C. При тех же сходствах уменьшение температуры растягивает логиты. В сценарии потеря падает с 0.643738 при τ=0.5 до 0.007409 при τ=0.1; ln 4 соответствует равномерному выбору из четырёх вариантов.

Вопрос 16.6.1

16.6. Решённый пример A: от разрешения к числу визуальных токенов

Четыре локальных тайла и одна миниатюра дают по 576 токенов каждый. Сколько визуальных токенов получится?

Один правильный вариантA2880 = 5·576B2304 = 4·576 без миниатюрыC5184 = сырая сетка при 1008×1008

A) 2880 = 5·576

B) 2304 = 4·576 без миниатюры

C) 5184 = сырая сетка при 1008×1008

Ответ и разбор

Правильный ответ: A. Учебный NeXT-сценарий использует пять представлений: четыре локальных блока 336×336 и одна глобальная миниатюра. Поэтому 2880 описывает схему тайлинга, а не одну сетку 672×672.

Вопрос 16.7.1

16.7. Решённый пример B: когда визуальные токены попадают в KV-кэш

Сколько KV-памяти дают 1296 визуальных позиций при 128 KiB на позицию?

Один правильный вариантA1296 MiB — по одному MiB на позициюB162 MiB — результат 1296·128 KiBC72 MiB — цена 576 позиций без объединения

A) 1296 MiB — по одному MiB на позицию

B) 162 MiB — результат 1296·128 KiB

C) 72 MiB — цена 576 позиций без объединения

Ответ и разбор

Правильный ответ: B. 1296·128 KiB = 162 MiB. При том же числе позиций и формате KV наличие ресемплера само по себе не меняет эту величину. Если он сокращает число позиций, их объём пересчитывается; перекрёстное внимание требует другой схемы учёта.

Вопрос 16.8.1

16.8. Коннекторы и пример D: цена модульного рецепта

Какой ресурс в первую очередь экономит Q-Former или resampler?

Один правильный вариантAЧисло параметров визуального энкодера во всех его слояхBПропускную способность отдельного аудиодекодераCЧисло визуальных позиций, передаваемых языковой модели

A) Число параметров визуального энкодера во всех его слоях

B) Пропускную способность отдельного аудиодекодера

C) Число визуальных позиций, передаваемых языковой модели

Ответ и разбор

Правильный ответ: C. Обучаемые запросы извлекают ограниченный набор представлений из большой сетки признаков. Это создаёт информационное узкое место, но уменьшает длину контекста LLM.

Вопрос 16.8.2

16.8. Коннекторы и пример D: цена модульного рецепта

Почему заморозка LLM не отменяет весь обратный проход при обучении проектора?

Один правильный вариантAГрадиент по входным активациям нужен проекторуBВсе веса LLM всё равно обновляютсяCЗаморозка удваивает число визуальных позиций

A) Градиент по входным активациям нужен проектору

B) Все веса LLM всё равно обновляются

C) Заморозка удваивает число визуальных позиций

Ответ и разбор

Правильный ответ: A. Не нужны градиенты замороженных весов и их оптимизатор, но нужен путь производной от потери к проектору.

Вопрос 16.9.1

16.9. Динамическое разрешение, тайлинг и M-RoPE

Как связаны M-RoPE и число визуальных токенов?

Один правильный вариантAОна кодирует координаты; длину меняют изменение размера, тайлинг и объединениеBОна всегда объединяет четыре соседних патча в один токенCОна заменяет динамическое разрешение одной фиксированной сеткой

A) Она кодирует координаты; длину меняют изменение размера, тайлинг и объединение

B) Она всегда объединяет четыре соседних патча в один токен

C) Она заменяет динамическое разрешение одной фиксированной сеткой

Ответ и разбор

Правильный ответ: A. Позиционная схема сохраняет геометрию. За число токенов отвечают изменение размера, тайлинг, пространственное объединение, выборка кадров и отсечение позиций.

Вопрос 16.9.2

16.9. Динамическое разрешение, тайлинг и M-RoPE

Что определяет бюджет в геометрическом процессоре Qwen2-VL?

Один правильный вариантAВсегда только семантическая сложность картинкиBРазмеры, соотношение сторон и пределы пикселейCТолько название задачи пользователя

A) Всегда только семантическая сложность картинки

B) Размеры, соотношение сторон и пределы пикселей

C) Только название задачи пользователя

Ответ и разбор

Правильный ответ: B. Геометрическое динамическое разрешение не является обученным классификатором сложности содержимого.

Вопрос 16.10.1

16.10. Единое моделирование: общий интерфейс не требует одного представления

Как единая модель может оставаться внутренне модульной?

Один правильный вариантAТолько если разные модальности никогда не обучаются совместноBОбщий контекст может сочетаться со специализированными модулямиCТолько если система возвращает исключительно текстовый ответ

A) Только если разные модальности никогда не обучаются совместно

B) Общий контекст может сочетаться со специализированными модулями

C) Только если система возвращает исключительно текстовый ответ

Ответ и разбор

Правильный ответ: B. Janus разделяет визуальные пути, InternVL-U использует MMDiT-голову, а Thinker–Talker — отдельный речевой декодер. Единый продукт не требует одной внутренней репрезентации.

Вопрос 16.11.1

16.11. Решённый пример E: почему видео требует выборки и сжатия

Почему большое контекстное окно само по себе не решает задачу длинного видео?

Один правильный вариантAВидеокадры нельзя представить дискретными визуальными токенамиBKV-кэш языкового декодера не поддерживает временные координатыCНужно отобрать кадры и события в рамках доступного бюджета

A) Видеокадры нельзя представить дискретными визуальными токенами

B) KV-кэш языкового декодера не поддерживает временные координаты

C) Нужно отобрать кадры и события в рамках доступного бюджета

Ответ и разбор

Правильный ответ: C. Два часа при 1 fps и 576 токенах на кадр дают 4.15 млн токенов. Выборка, временное объединение и отбор событий определяют, какая информация останется.

Вопрос 16.12.1

16.12. Thinker–Talker: совместное рассуждение и потоковая речь

Чем TMRoPE отличается от ARIA в Thinker–Talker?

Один правильный вариантATMRoPE задаёт время входа; ARIA согласует скорости выходных потоковBTMRoPE генерирует речь; ARIA распознаёт отдельные изображенияCTMRoPE работает только в Talker; ARIA — только в визуальном энкодере

A) TMRoPE задаёт время входа; ARIA согласует скорости выходных потоков

B) TMRoPE генерирует речь; ARIA распознаёт отдельные изображения

C) TMRoPE работает только в Talker; ARIA — только в визуальном энкодере

Ответ и разбор

Правильный ответ: A. Это разные уровни: позиционная геометрия входных аудио/видео событий и адаптивное перемежение выходных потоков.

Вопрос 16.13.1

16.13. Код первого уровня: геометрия до фреймворка

Зачем функция patch_layout запрещает молчаливое целочисленное обрезание?

Один правильный вариантAЧтобы все изображения автоматически становились квадратнымиBЧтобы край не исчез без явного изменения размера или дополненияCЧтобы пространственное объединение всегда использовал один коэффициент

A) Чтобы все изображения автоматически становились квадратными

B) Чтобы край не исчез без явного изменения размера или дополнения

C) Чтобы пространственное объединение всегда использовал один коэффициент

Ответ и разбор

Правильный ответ: B. Обычное // могло бы скрыть неполный патч. В реальном процессоре изменение размера или дополнение задаются явно; учёт добавленных областей зависит от его интерфейса.

Вопрос 16.13.2

16.13. Код первого уровня: геометрия до фреймворка

Что проверяет круговой тест unpatchify(patchify(image))?

Один правильный вариантAСходство эмбеддингов изображения и текстовой подписиBСохранение нормы после прохождения MLP-проектораCВзаимную согласованность двух операций на проверенном входе

A) Сходство эмбеддингов изображения и текстовой подписи

B) Сохранение нормы после прохождения MLP-проектора

C) Взаимную согласованность двух операций на проверенном входе

Ответ и разбор

Правильный ответ: C. Согласованные обратные перестановки могут пройти этот тест даже при неверном порядке относительно спецификации. Для построчного порядка нужна независимая сетка с заранее известными координатами; она добавлена в ноутбук.

Вопрос 16.15.1

16.15. Аудио как временная модальность

Почему аудио требует отдельного системного паспорта, а не только числа текстовых токенов?

Один правильный вариантAЦена зависит от частоты аудиопозиций, сжатия и потоковой задержкиBАудио всегда обрабатывается без Transformer-компонентовCРечь не содержит семантики до явной текстовой транскрипции

A) Цена зависит от частоты аудиопозиций, сжатия и потоковой задержки

B) Аудио всегда обрабатывается без Transformer-компонентов

C) Речь не содержит семантики до явной текстовой транскрипции

Ответ и разбор

Правильный ответ: A. Аудио имеет собственную частоту кадров или кодек-токенов. Нужно измерять задержку первого аудиопакета, RTF, прерывания и качество содержания отдельно.

Вопрос 16.16.1

16.16. Публично документированный ландшафт на 11 октября 2026 года

Как корректно описывать внутреннюю архитектуру закрытого мультимодального API?

Один правильный вариантAВывести внутренний стек из форматов одного интерфейса APIBФиксировать входы и выходы и не угадывать скрытую топологию без источникаCСчитать любой голосовой API одним сквозным Transformer

A) Вывести внутренний стек из форматов одного интерфейса API

B) Фиксировать входы и выходы и не угадывать скрытую топологию без источника

C) Считать любой голосовой API одним сквозным Transformer

Ответ и разбор

Правильный ответ: B. Один интерфейс может скрывать каскад или несколько специализированных моделей. Архитектурное утверждение требует технической документации, кода или конфигурации.

Вопрос 16.16.2

16.16. Публично документированный ландшафт на 11 октября 2026 года

К какому варианту относится ViR в отчёте InternVL3.5?

Один правильный вариантAInternVL3.5-FlashBКо всем VLM с любым визуальным энкодеромCТолько к Chameleon

A) InternVL3.5-Flash

B) Ко всем VLM с любым визуальным энкодером

C) Только к Chameleon

Ответ и разбор

Правильный ответ: A. В Flash маршрутизатор выбирает 256 или 64 визуальные позиции на тайл; переносить эту характеристику на каждую модель семейства нельзя.

Вопрос 16.17.1

16.17. Как читать мультимодальный паспорт модели

Что является минимальным мультимодальным паспортом для оценки стоимости запроса?

Один правильный вариантAНазвание модели и её лучший опубликованный результат тестированияBТолько максимальное разрешение и размер контекстаCПроцессор, слияние, позиции, состояние, задержка и память

A) Название модели и её лучший опубликованный результат тестирования

B) Только максимальное разрешение и размер контекста

C) Процессор, слияние, позиции, состояние, задержка и память

Ответ и разбор

Правильный ответ: C. Цена появляется на каждом этапе: обработка входа, энкодер, слияние, prefill, KV и выходной декодер. Название поддерживаемой возможности не задаёт эти величины.

Вопрос 16.14.1

16.14. Второй уровень: что проверяет ноутбук

Что проверяет отложенная выборка в учебной VLM?

Один правильный вариантAПеренос на естественные фотографииBПеренос на неизвестные пары высотCДругую яркость уже знакомых пар высот

A) Перенос на естественные фотографии

B) Перенос на неизвестные пары высот

C) Другую яркость уже знакомых пар высот

Ответ и разбор

Правильный ответ: C. 32 обучающих и 16 отложенных изображений содержат те же 16 пар высот. Изменяется рендеринг, а не композиции.