Современные LLM17 / 20

Модуль 17. Эмбеддинги, поиск и RAG

Выберите ответы и нажмите «Проверить». Для чисел подходят точка, запятая и простые дроби. Ответы и черновики сохраняются в этом браузере и общие для RU/EN.

Проверено: 0 / 19 · Верно: 0

Вопрос 17.4.1

17.4. BM25 и обучаемые разреженные представления: ветка точных термов

Почему BM25 остаётся полезным рядом с плотным поиском?

Один правильный вариантAОн сохраняет буквальный сигнал редких термов при подходящей токенизацииBОн работает быстрее и потому нужен как первая ступень отбораCОн не требует обучения и переносится между языками без правок

A) Он сохраняет буквальный сигнал редких термов при подходящей токенизации

B) Он работает быстрее и потому нужен как первая ступень отбора

C) Он не требует обучения и переносится между языками без правок

Ответ и разбор

Правильный ответ: A. Редкие строки могут различать документы, которые семантически близки. Токенизация должна сохранять нужные идентификаторы; ни одна ветвь не гарантирует успех на каждом запросе.

Вопрос 17.5.1

17.5. Плотные bi-encoder-модели: как учат семантическое пространство

Как обучается bi-encoder в приведённом контрастивном примере?

Один правильный вариантAВосстановлением замаскированных токенов в парах запрос-документBСопоставлением пар: релевантная пара получает большую оценку, чем негативы из пакетаCРегрессией на оценки релевантности, размеченные асессорами вручную

A) Восстановлением замаскированных токенов в парах запрос-документ

B) Сопоставлением пар: релевантная пара получает большую оценку, чем негативы из пакета

C) Регрессией на оценки релевантности, размеченные асессорами вручную

Ответ и разбор

Правильный ответ: B. Положительная пара должна получать большую относительную оценку. Трудные негативы помогают различать близкие документы, но ложный негатив создаёт ошибочный обучающий сигнал.

Вопрос 17.6.1

17.6. MRL (Matryoshka Representation Learning), квантизация и решённый пример A: сколько стоит хранить смысл

Как Matryoshka Representation Learning позволяет менять размер эмбеддинга?

Один правильный вариантAХранит несколько версий вектора и выбирает нужную при запросеBОбучает отдельную проекцию, сжимающую вектор до заданного размераCПотери применяются к нескольким префиксам, обучая их полезные представления

A) Хранит несколько версий вектора и выбирает нужную при запросе

B) Обучает отдельную проекцию, сжимающую вектор до заданного размера

C) Потери применяются к нескольким префиксам, обучая их полезные представления

Ответ и разбор

Правильный ответ: C. На инференсе достаточно среза v[:k] с ренормализацией — никакой отдельной модели не нужно. Отсюда и рабочий паттерн: грубый поиск на коротком представлении, доуточнение полным вектором.

Вопрос 17.6.2

17.6. MRL (Matryoshka Representation Learning), квантизация и решённый пример A: сколько стоит хранить смысл

10 млн векторов по 1024 компоненты. Сколько занимает полезная нагрузка?

Один правильный вариантA38.15 GiB в fp32 против 1.19 GiB в binary — экономия ×32B38.15 GiB в fp32 против 9.54 GiB в binary — экономия ×4C4.10 GiB в fp32: по одному байту на компоненту вектора

A) 38.15 GiB в fp32 против 1.19 GiB в binary — экономия ×32

B) 38.15 GiB в fp32 против 9.54 GiB в binary — экономия ×4

C) 4.10 GiB в fp32: по одному байту на компоненту вектора

Ответ и разбор

Правильный ответ: A. MRL-256 плюс int8 даёт 2.38 GiB — компромисс ×16. Таблица считает только векторы: метаданные индекса, графовые рёбра и репликация добавляются сверху отдельно.

Вопрос 17.7.1

17.7. Один вектор, одна пара или матрица: где происходит взаимодействие

Чем cross-encoder отличается от bi-encoder?

Один правильный вариантAОн обучается на тех же парах, но с другой функцией потерьBОн совместно читает пару; итоговую оценку нельзя вычислить до запросаCОн выдаёт вектор фиксированной длины для каждого документа корпуса

A) Он обучается на тех же парах, но с другой функцией потерь

B) Он совместно читает пару; итоговую оценку нельзя вычислить до запроса

C) Он выдаёт вектор фиксированной длины для каждого документа корпуса

Ответ и разбор

Правильный ответ: B. Совместное внимание доступно внутри пары, но требует нового вычисления для каждого кандидата. Оно расширяет возможности скорера, а качество проверяется на целевых запросах. Пары можно объединять в пакеты; отдельная оценка не означает обязательный последовательный вызов.

Вопрос 17.7.2

17.7. Один вектор, одна пара или матрица: где происходит взаимодействие

Что делает late interaction в системах ColBERT-типа?

Один правильный вариантAОткладывает сравнение до момента, когда собран весь контекст ответаBСчитает сходство только по последним слоям обоих энкодеровCХранит вектор на токен и сравнивает их между запросом и документом

A) Откладывает сравнение до момента, когда собран весь контекст ответа

B) Считает сходство только по последним слоям обоих энкодеров

C) Хранит вектор на токен и сравнивает их между запросом и документом

Ответ и разбор

Правильный ответ: C. Токенные векторы документа вычисляются заранее. Индекс обычно крупнее одновекторного; точное отношение зависит от размерностей, числа векторов и их сжатия.

Вопрос 17.8.1

17.8. Решённый пример B: точный поиск и арифметика ANN (Approximate Nearest Neighbor)

Полный перебор 10 млн векторов размерности 1024 при 10 GFLOP/s. Какова оценка только вычислений?

Один правильный вариантA2.048 с против 0.4096 мс у сценария с 2000 расстояний — ×5000B20.48 мс: современные библиотеки укладываются в этот бюджетC0.4096 мс — это и есть измеренная латентность HNSW-индекса

A) 2.048 с против 0.4096 мс у сценария с 2000 расстояний — ×5000

B) 20.48 мс: современные библиотеки укладываются в этот бюджет

C) 0.4096 мс — это и есть измеренная латентность HNSW-индекса

Ответ и разбор

Правильный ответ: A. 2Nd = 2·10⁷·1024 ≈ 2.05·10¹⁰ операций. Это прозрачная модель количества вычислений, а не бенчмарк: обход графа, доступы к памяти и recall в неё не входят.

Вопрос 17.9.1

17.9. ANN под капотом: три индекса для трёх ограничений

В чём основной компромисс HNSW?

Один правильный вариантAВысокий recall ценой медленной перестройки индекса при вставкахBБыстрый поиск ценой памяти под граф и приблизительного ответаCТочный ответ ценой линейного роста времени с размером корпуса

A) Высокий recall ценой медленной перестройки индекса при вставках

B) Быстрый поиск ценой памяти под граф и приблизительного ответа

C) Точный ответ ценой линейного роста времени с размером корпуса

Ответ и разбор

Правильный ответ: B. Ручка efSearch двигает компромисс recall против латентности, и мерить его надо на своём индексе. Графовые рёбра при этом занимают память сверх самих векторов.

Вопрос 17.10.1

17.10. Гибридный поиск, RRF (Reciprocal Rank Fusion) и решённый пример F

Как RRF объединяет ранжирования без сопоставимых сырых оценок?

Один правильный вариантAПриводит оценки к общей шкале нормировкой на максимум ветвиBБерёт документы, попавшие в топ обеих ветвей одновременноCСкладывает 1/(k + позиция): важен ранг, а не значение оценки

A) Приводит оценки к общей шкале нормировкой на максимум ветви

B) Берёт документы, попавшие в топ обеих ветвей одновременно

C) Складывает 1/(k + позиция): важен ранг, а не значение оценки

Ответ и разбор

Правильный ответ: C. RRF заменяет исходные оценки вкладами рангов. Калибровка оценок — отдельная возможная стратегия, но RRF её не требует и не гарантирует улучшение качества.

Вопрос 17.10.2

17.10. Гибридный поиск, RRF (Reciprocal Rank Fusion) и решённый пример F

Почему гибридный поиск не обязан выигрывать по каждой метрике сразу?

Один правильный вариантAДругая ветвь может поднять нерелевантные документы выше релевантныхBГибрид оптимизирован под recall и потому всегда проигрывает по точностиCМетрики гибрида несопоставимы с метриками отдельных ветвей по построению

A) Другая ветвь может поднять нерелевантные документы выше релевантных

B) Гибрид оптимизирован под recall и потому всегда проигрывает по точности

C) Метрики гибрида несопоставимы с метриками отдельных ветвей по построению

Ответ и разбор

Правильный ответ: A. Слияние меняет порядок кандидатов. Оно может улучшить или ухудшить среднее качество; это измеряется на фиксированных запросах, включая отдельные классы ошибок.

Вопрос 17.10.3

17.10. Гибридный поиск, RRF (Reciprocal Rank Fusion) и решённый пример F

Два документа релевантны; один попал в top-5. Чему равна Recall@5?

Один правильный вариантA1, если он первыйB0.5C0.2

A) 1, если он первый

B) 0.5

C) 0.2

Ответ и разбор

Правильный ответ: B. Полнота делит число найденных релевантных документов на число всех релевантных, а не на длину списка.

Вопрос 17.11.1

17.11. Разбиение на фрагменты: что именно становится объектом поиска

Какую смысловую связь можно потерять при слишком коротких фрагментах без перекрытия?

Один правильный вариантAСкорость индексации: коротких чанков получается заметно большеBСвязность: определение и его использование расходятся по разным чанкамCВозможность применить реранкер: он требует чанков одинаковой длины

A) Скорость индексации: коротких чанков получается заметно больше

B) Связность: определение и его использование расходятся по разным чанкам

C) Возможность применить реранкер: он требует чанков одинаковой длины

Ответ и разбор

Правильный ответ: B. Граница может разделить определение и его использование. Обе части могут находиться поиском, но одной недостаточно для ответа. Перекрытие, заголовки и сохранение более широкого окружения проверяют как возможные способы уменьшить эту потерю.

Вопрос 17.12.1

17.12. Полный каскад и решённый пример D: где живёт задержка

Что должен гарантировать сборщик контекста при жёстком бюджете токенов?

Один правильный вариантAЧто все найденные документы попадут в контекст хотя бы фрагментамиBЧто порядок документов совпадёт с порядком их релевантностиCДетерминированность и явное решение, что именно выброшено

A) Что все найденные документы попадут в контекст хотя бы фрагментами

B) Что порядок документов совпадёт с порядком их релевантности

C) Детерминированность и явное решение, что именно выброшено

Ответ и разбор

Правильный ответ: C. Детерминированное обрезание само по себе воспроизводимо, но может удалить необходимую связь. Учебный сборщик принимает только целые фрагменты и записывает причину каждого пропуска; бюджет проверяется после добавления цитат.

Вопрос 17.12.2

17.12. Полный каскад и решённый пример D: где живёт задержка

Почему итог 1.658 с не является строгой нижней границей?

Один правильный вариантADecode и MFU заданы; часть затрат исключенаBПотому что времена стадий нельзя складывать никогдаCПотому что 2PT считает только KV

A) Decode и MFU заданы; часть затрат исключена

B) Потому что времена стадий нельзя складывать никогда

C) Потому что 2PT считает только KV

Ответ и разбор

Правильный ответ: A. Это условный последовательный бюджет; гипотезы о скорости не превращаются в аппаратную гарантию.

Вопрос 17.15.1

17.15. Эволюция RAG: каждый «продвинутый» метод исправляет конкретный сбой

Чем агентный RAG отличается от конвейера с однократным поиском?

Один правильный вариантAМодель сама решает, искать ли снова и как переформулировать запросBОн использует несколько индексов вместо одного общего хранилищаCОн выполняет поиск после генерации, чтобы проверить полученный ответ

A) Модель сама решает, искать ли снова и как переформулировать запрос

B) Он использует несколько индексов вместо одного общего хранилища

C) Он выполняет поиск после генерации, чтобы проверить полученный ответ

Ответ и разбор

Правильный ответ: A. Повторный поиск позволяет учесть уже прочитанное и уточнить запрос. Он может помочь в многошаговых задачах, но выигрыш нужно измерять. Число обращений, задержка и стоимость зависят от выбранной траектории.

Вопрос 17.16.1

17.16. Решённый пример E: RAG или длинный контекст

Документ 200K токенов против RAG-контекста 3712. Что даёт эта разница?

Один правильный вариантAНичего в пределе: длинный контекст обрабатывается параллельноB53.88× по входу и линейной оценке prefill: 6.489 с против 0.120 сC×53.88 по входу, но префилл одинаков — он не зависит от длины

A) Ничего в пределе: длинный контекст обрабатывается параллельно

B) 53.88× по входу и линейной оценке prefill: 6.489 с против 0.120 с

C) ×53.88 по входу, но префилл одинаков — он не зависит от длины

Ответ и разбор

Правильный ответ: B. Отношение 200000/3712 относится к принятой линейной модели. Квадратичное внимание, кэширование и качество ответа требуют отдельного учёта.

Вопрос 17.17.1

17.17. Оценка и паспорт эмбеддера

Какая пара метрик разделяет стадии поиска и генерации?

Один правильный вариантAПолнота ответа и его фактическая корректность по мнению судьиBЛатентность запроса и стоимость его обработки в токенахCRecall поиска и обоснованность ответа найденным контекстом

A) Полнота ответа и его фактическая корректность по мнению судьи

B) Латентность запроса и стоимость его обработки в токенах

C) Recall поиска и обоснованность ответа найденным контекстом

Ответ и разбор

Правильный ответ: C. Низкая полнота может возникнуть из-за разбиения, представления, фильтра или индекса. При высокой полноте проверяют сборку контекста и генерацию: красивый ответ не заменяет нужное свидетельство.

Вопрос 17.17.2

17.17. Оценка и паспорт эмбеддера

Почему повторный ID в списке для nDCG считается ошибкой?

Один правильный вариантAЕго ценность может быть посчитана дваждыBЛогарифм не определён на повторных строкахCMRR всегда станет нулём

A) Его ценность может быть посчитана дважды

B) Логарифм не определён на повторных строках

C) MRR всегда станет нулём

Ответ и разбор

Правильный ответ: A. Идеальный список содержит каждый документ один раз. Двойной учёт способен искусственно повысить nDCG выше 1.

Вопрос 17.14.1

17.14. Второй уровень: что проверяет ноутбук

Что доказывает совпадение выдержки с координатами источника?

Один правильный вариантAПравильность ответа на вопросBКачество генерации LLMCПроисхождение текста выдержки

A) Правильность ответа на вопрос

B) Качество генерации LLM

C) Происхождение текста выдержки

Ответ и разбор

Правильный ответ: C. Дословность и ссылка проверяют происхождение; релевантность и полнота ответа проверяются отдельно.