Современные LLM19 / 20

Модуль 19. Оценка современных LLM: от бенчмарка к инженерному решению

Выберите ответы и нажмите «Проверить». Для чисел подходят точка, запятая и простые дроби. Ответы и черновики сохраняются в этом браузере и общие для RU/EN.

Проверено: 0 / 20 · Верно: 0

Вопрос 19.4.1

19.4. Жизненный цикл бенчмарка: как измеритель теряет силу

Почему публичный бенчмарк со временем может потерять различающую силу?

Один правильный вариантAЗагрязнение заданий сочетается с приближением сильных систем к потолкуBПубличная метрика перестаёт отражать человеческую оценку после первого годаCОпубликованные задания больше нельзя проверять или исправлять экспертами

A) Загрязнение заданий сочетается с приближением сильных систем к потолку

B) Публичная метрика перестаёт отражать человеческую оценку после первого года

C) Опубликованные задания больше нельзя проверять или исправлять экспертами

Ответ и разбор

Правильный ответ: A. Загрязнение может завысить результат, а насыщение уменьшает разницу между сильными системами. Оба эффекта требуют обновляемых, приватных или более трудных наборов.

Вопрос 19.5.1

19.5. Карта оценки: сначала оси, затем названия наборов

Почему выбор модели нельзя основывать на одном агрегированном числе?

Один правильный вариантAАгрегат допустим только для задач с одним правильным классомBСреднее скрывает критические срезы, стоимость, задержку и рискCВсе агрегированные показатели имеют систематическое смещение вниз

A) Агрегат допустим только для задач с одним правильным классом

B) Среднее скрывает критические срезы, стоимость, задержку и риск

C) Все агрегированные показатели имеют систематическое смещение вниз

Ответ и разбор

Правильный ответ: B. Продуктовое решение многомерно. Две системы с одинаковым средним могут резко различаться на критическом срезе, по стоимости или по хвостовой задержке.

Вопрос 19.5.2

19.5. Карта оценки: сначала оси, затем названия наборов

Порог уверенности оставил 4 правильных ответа из 20 запросов. Что можно заключить?

Один правильный вариантAСистема доказанно безошибочна на любых будущих запросахBПокрытие равно 20%, наблюдаемый риск — 0 на четырёх ответахCВероятность каждого токена равна вероятности правильности ответа

A) Система доказанно безошибочна на любых будущих запросах

B) Покрытие равно 20%, наблюдаемый риск — 0 на четырёх ответах

C) Вероятность каждого токена равна вероятности правильности ответа

Ответ и разбор

Правильный ответ: B. Риск считается среди принятых ответов, покрытие — среди всех запросов. Четыре успеха не гарантируют будущую надёжность; при отсутствии принятых ответов риск был бы не определён.

Вопрос 19.6.1

19.6. Решённый пример A: что означает разница в полпункта?

При планировании N=500 заданы вероятности успеха 0,955 и 0,950. Что означает независимая аппроксимация?

Один правильный вариантAСистема A доказанно лучше при любом распределении ошибок по заданиямBРазница означает ровно пять дополнительных успехов и потому значимаCПланируемая полуширина существенно больше разности вероятностей

A) Система A доказанно лучше при любом распределении ошибок по заданиям

B) Разница означает ровно пять дополнительных успехов и потому значима

C) Планируемая полуширина существенно больше разности вероятностей

Ответ и разбор

Правильный ответ: C. Это предполагаемые вероятности: 95,5% невозможно наблюдать в одном бинарном прогоне N=500. Нормальная полуширина около 2,64 пункта превышает разность 0,5 пункта; для наблюдаемого сравнения одинаковых задач нужны парные исходы.

Вопрос 19.6.2

19.6. Решённый пример A: что означает разница в полпункта?

Сколько задач на систему нужно для нормальной 95% полуширины разности 0,5 п.п. при независимых долях около 95%?

Один правильный вариантAОколо 14 599 заданий на системуBОколо 3 650 заданий на системуCОколо 500 заданий на систему

A) Около 14 599 заданий на систему

B) Около 3 650 заданий на систему

C) Около 500 заданий на систему

Ответ и разбор

Правильный ответ: A. 2·0,95·0,05·(1,96/0,005)² после округления вверх даёт 14 599. Это планирование точности интервала, а не гарантия мощности теста.

Вопрос 19.6.3

19.6. Решённый пример A: что означает разница в полпункта?

Две таблицы на N=200 дают 85%/80%. Где точный тест Мак-Немара даёт меньшее p?

Один правильный вариантA20 успехов только A, 10 только BB10 успехов только A, 0 только BCp одинаково, поскольку точности совпадают

A) 20 успехов только A, 10 только B

B) 10 успехов только A, 0 только B

C) p одинаково, поскольку точности совпадают

Ответ и разбор

Правильный ответ: B. Во втором случае все десять несовпадений направлены в пользу A: p=0,001953. В первом p≈0,098737. Одних агрегатов недостаточно.

Вопрос 19.7.1

19.7. Трудность бывает разной: HLE, FrontierMath и ARC-AGI

Зачем нужны разные трудные наборы — HLE, FrontierMath и ARC-AGI — вместо одного «самого сложного»?

Один правильный вариантAЧтобы получить один усреднённый коэффициент общей интеллектуальностиBЧтобы разделить экспертные знания, математику и абстрактное обобщениеCПотому что каждый набор поддерживает только одно семейство архитектур

A) Чтобы получить один усреднённый коэффициент общей интеллектуальности

B) Чтобы разделить экспертные знания, математику и абстрактное обобщение

C) Потому что каждый набор поддерживает только одно семейство архитектур

Ответ и разбор

Правильный ответ: B. Низкий результат может иметь разную причину. Один набор проверяет экспертные знания, другой — оригинальные математические задачи, третий — перенос правил на новые визуальные структуры.

Вопрос 19.8.1

19.8. pass@k: способность найти решение и надёжность — не одно и то же

При n=20 генерациях и c=4 успешных чему равна несмещённая оценка pass@10?

Один правильный вариантA0,8926 — подстановочная оценка с независимыми повторными попыткамиB0,2000 — наблюдаемая доля успеха одной случайной генерацииC0,9567 — конечновыборочная оценка выбора без возвращения

A) 0,8926 — подстановочная оценка с независимыми повторными попытками

B) 0,2000 — наблюдаемая доля успеха одной случайной генерации

C) 0,9567 — конечновыборочная оценка выбора без возвращения

Ответ и разбор

Правильный ответ: C. Формула 1−C(n−c,k)/C(n,k) даёт 0,9567. Её несмещённость для вероятности хотя бы одного успеха требует независимых генераций из одной политики. Подстановка c/n в нелинейную формулу даёт смещённую оценку.

Вопрос 19.8.2

19.8. pass@k: способность найти решение и надёжность — не одно и то же

Что означает большой разрыв между pass@1 и pass@10?

Один правильный вариантAЕсть потенциал найти решение, но первая попытка остаётся ненадёжнойBМодель обязательно переключается между десятью алгоритмами решенияCpass@10 строже наказывает ошибки, чем метрика одной попытки

A) Есть потенциал найти решение, но первая попытка остаётся ненадёжной

B) Модель обязательно переключается между десятью алгоритмами решения

C) pass@10 строже наказывает ошибки, чем метрика одной попытки

Ответ и разбор

Правильный ответ: A. Разрыв отделяет потенциальную способность от надёжности единичного ответа. Для продукта, где разрешена одна попытка, pass@10 может сильно переоценить практическую ценность.

Вопрос 19.9.1

19.9. Парные предпочтения и композиты: полезные карты с чужой системой координат

В чём главный предел композитного индекса или арены?

Один правильный вариантAАрена не может собирать человеческие парные предпочтения в масштабеBИндекс наследует чужие веса задач, аудиторию и правила агрегацииCКомпозит всегда статистически менее устойчив, чем отдельная метрика

A) Арена не может собирать человеческие парные предпочтения в масштабе

B) Индекс наследует чужие веса задач, аудиторию и правила агрегации

C) Композит всегда статистически менее устойчив, чем отдельная метрика

Ответ и разбор

Правильный ответ: B. Композит полезен как карта общего положения, но его система координат задана составом пользователей, задач, весами и правилами агрегации. Для продуктового решения её нужно дополнить собственными срезами.

Вопрос 19.10.1

19.10. Модель-судья: как порядок создаёт фантомную победу

Как уменьшить позиционное смещение при парном судействе моделью?

Один правильный вариантAВсегда показывать ответ новой системы первым во всех сравненияхBПовышать температуру судьи до исчезновения зависимости от порядкаCПроверять порядки A/B и B/A и сводить выбор к идентичности

A) Всегда показывать ответ новой системы первым во всех сравнениях

B) Повышать температуру судьи до исчезновения зависимости от порядка

C) Проверять порядки A/B и B/A и сводить выбор к идентичности

Ответ и разбор

Правильный ответ: C. Перестановка выявляет предпочтение первой или второй позиции. Для более надёжного протокола дополнительно фиксируют критерии, длину, семейство судей и стоимость вызовов.

Вопрос 19.10.2

19.10. Модель-судья: как порядок создаёт фантомную победу

Сколько вызовов на одну пару требуют три модели-судьи при проверке порядков A/B и B/A?

Один правильный вариантA6 вызовов на паруB3 вызова на паруC2 вызова на пару

A) 6 вызовов на пару

B) 3 вызова на пару

C) 2 вызова на пару

Ответ и разбор

Правильный ответ: A. Каждая из трёх моделей оценивает две перестановки, поэтому требуется 3×2=6 вызовов. Устойчивость к части смещений имеет измеримую цену.

Вопрос 19.11.1

19.11. Мультимодальность, безопасность, правдивость и честность — разные оси

Почему безопасность, правдивость и общую способность нельзя свести к одному числу?

Один правильный вариантAБезопасность невозможно оценивать количественно на фиксированном набореBОси описывают разные риски и требуют разных критериев отказаCПравдивость проверяется только людьми, а способность — только тестами

A) Безопасность невозможно оценивать количественно на фиксированном наборе

B) Оси описывают разные риски и требуют разных критериев отказа

C) Правдивость проверяется только людьми, а способность — только тестами

Ответ и разбор

Правильный ответ: B. Система может быть сильной на задачах и небезопасной, правдивой в фактах и неустойчивой к атакующим запросам. Эти оси следует измерять отдельно и объединять только в явной продуктовой функции полезности.

Вопрос 19.12.1

19.12. Длинный контекст: принимает миллион токенов — значит ли использует?

Чем рабочий контекст отличается от номинального контекстного окна?

Один правильный вариантAРабочий контекст всегда составляет половину заявленной длины окнаBНоминальная длина относится к prefill, а рабочая — только к decodeCЭто область, где свидетельство используется выше выбранного порога

A) Рабочий контекст всегда составляет половину заявленной длины окна

B) Номинальная длина относится к prefill, а рабочая — только к decode

C) Это область, где свидетельство используется выше выбранного порога

Ответ и разбор

Правильный ответ: C. Способность принять миллион токенов не гарантирует одинаковое использование начала, середины и конца. Рабочее окно определяется задачей, положением свидетельства и порогом качества.

Вопрос 19.12.2

19.12. Длинный контекст: принимает миллион токенов — значит ли использует?

Что означает доля 0,246752 в синтетической U-кривой?

Один правильный вариантAСуммарную меру двух краевых участковBНепрерывное окно длиной 246752 токенаCИзмеренную точность конкретной LLM

A) Суммарную меру двух краевых участков

B) Непрерывное окно длиной 246752 токена

C) Измеренную точность конкретной LLM

Ответ и разбор

Правильный ответ: A. Порог 0,9 выделяет два раздельных края. Результат зависит от равномерного распределения позиций и заданной кривой.

Вопрос 19.13.1

19.13. Собственная исполняющая обвязка: один вызов — один наблюдаемый ответ

Почему внутри одного прогона и одной попытки обвязка должна вызывать систему один раз на пример?

Один правильный вариантAЧтобы текст, метрики, задержка и стоимость относились к одному ответуBПотому что повторный вызов детерминированно воспроизводит первыйCЧтобы запретить вычисление нескольких разных метрик на одном примере

A) Чтобы текст, метрики, задержка и стоимость относились к одному ответу

B) Потому что повторный вызов детерминированно воспроизводит первый

C) Чтобы запретить вычисление нескольких разных метрик на одном примере

Ответ и разбор

Правильный ответ: A. Повторный вызов стохастической или stateful-модели может вернуть другой ответ и увеличить стоимость. Все метрики нужно вычислять из одного сохранённого наблюдения.

Вопрос 19.13.2

19.13. Собственная исполняющая обвязка: один вызов — один наблюдаемый ответ

Метрика выбросила исключение после успешного ответа модели. Как поступает полный учебный ноутбук?

Один правильный вариантAУдаляет строку и уменьшает знаменательBМолча записывает нулевой успех моделиCСохраняет ответ и помечает агрегат недействительным

A) Удаляет строку и уменьшает знаменатель

B) Молча записывает нулевой успех модели

C) Сохраняет ответ и помечает агрегат недействительным

Ответ и разбор

Правильный ответ: C. Ошибка программы оценки не равна ошибке модели. Агрегат None препятствует публикации ложного результата.

Вопрос 19.15.1

19.15. Собственный золотой набор: семь шагов от продукта к CI

Зачем собственный золотой набор держать приватным и версионируемым?

Один правильный вариантAЧтобы не документировать критерии, срезы и правила оценки системыBЧтобы снизить подгонку под тест и отслеживать версии набораCЧтобы запретить модели решать любые опубликованные задания

A) Чтобы не документировать критерии, срезы и правила оценки системы

B) Чтобы снизить подгонку под тест и отслеживать версии набора

C) Чтобы запретить модели решать любые опубликованные задания

Ответ и разбор

Правильный ответ: B. Приватность снижает прямую подгонку, а версия связывает результат с конкретным набором, правилами, срезами и датой. Это превращает оценку в воспроизводимый контроль изменений.

Вопрос 19.15.2

19.15. Собственный золотой набор: семь шагов от продукта к CI

Приватный набор регулярно используется для настройки промпта. Что меняется?

Один правильный вариантAОн автоматически становится обучением весовBОн становится частью разработки; нужен отдельный финальный аудитCОн остаётся независимым только благодаря секретности

A) Он автоматически становится обучением весов

B) Он становится частью разработки; нужен отдельный финальный аудит

C) Он остаётся независимым только благодаря секретности

Ответ и разбор

Правильный ответ: B. Адаптация возникает через выбор промпта по результатам, даже без градиентов и раскрытия задач наружу.

Вопрос 19.17.1

19.17. Паспорт бенчмарка и результат оценки

Что должен содержать паспорт опубликованного результата, кроме названия бенчмарка и скора?

Один правильный вариантAТолько число параметров, длину окна и название моделиBТолько дату запуска, тип GPU и итоговую среднюю оценкуCВерсию, протокол, попытки, инструменты, стоимость и неопределённость

A) Только число параметров, длину окна и название модели

B) Только дату запуска, тип GPU и итоговую среднюю оценку

C) Версию, протокол, попытки, инструменты, стоимость и неопределённость

Ответ и разбор

Правильный ответ: C. Одинаковое название набора не гарантирует одинаковый протокол. Без полного паспорта нельзя воспроизвести результат или понять, измерена модель, система либо конкретная обвязка.