Модуль 19. Оценка современных LLM: от бенчмарка к инженерному решению

Решение. При грубом предположении независимости двух долей

$SE=\sqrt{\frac{0.955(1-0.955)}{500}+\frac{0.950(1-0.950)}{500}}=0.013452,$ $z=\frac{0.955-0.950}{SE}=0.3717.$

Предполагаемая разность 0.005 намного меньше $1.96SE$: нормальная оценка погрешности не позволяет обещать точное различение. В парной таблице точности $(150+20)/200=0.85$ и $(150+10)/200=0.80$, но тест Мак-Немара использует только 30 несовпадений. При нулевой гипотезе их направления равновероятны; двустороннее значение равно $2P[\operatorname{Bin}(30,0.5)\le10]\approx0.09874$. Парный тест сохраняет информацию, потерянную в агрегатах.

Решение. Из $n$ сгенерированных программ $c$ правильны. Вероятность выбрать $k$ программ без единой правильной равна $\binom{n-c}{k}/\binom nk$, поэтому

$\widehat{pass@k}=1-\frac{\binom{n-c}{k}}{\binom nk}.$

При $n=20,c=4$ получаем 0.2000, 0.718266 и 0.956656 для $k=1,5,10$. Подстановка $1-(1-c/n)^k$ даёт 0.2000, 0.672320 и 0.892626. Она заменяет неизвестную вероятность её шумной оценкой, что при нелинейном преобразовании создаёт смещение. Несмещённость комбинаторной формулы требует независимых генераций из одной политики. Рост pass@1 → pass@10 показывает запас при поиске кандидатов, но для продукта ещё нужен способ выбрать правильный ответ.

Решение. После усреднения двух порядков кандидат A получает долю $(650/1000+350/1000)/2=0.5$; фиксированный первый порядок показывал бы 0.65 против 0.35 и создавал ложную разницу 30 пунктов.

Для $a(x)=0.95-0.35\sin^2(\pi x)$ среднее на $[0,1]$ равно $0.95-0.35\cdot\frac12=0.775$. Условие $a(x)\ge0.9$ эквивалентно $\sin^2(\pi x)\le1/7$; подходящие интервалы лежат у обоих краёв, поэтому их общая доля

$\frac{2}{\pi}\arcsin\frac1{\sqrt7}=0.246752.$

Для нормального приближения при планировании $n\approx z_{0.975}^2p(1-p)/e^2=1.96^2\cdot0.8\cdot0.2/0.03^2=682.95$, округляем вверх до 683. Финальный интервал можно вычислить по Вилсону; формула выше решает предварительную задачу планирования точности.

Проектный ноутбук сначала сохраняет ответы двух правил на 200 вымышленных запросах о возврате. Правило A забывает проверить целостность упаковки, правило B ошибается на границе 30 дней. Затем три набора показывают разные отказы: A проходит обычные запросы, но не критические исключения; B проходит исключения, но теряет четыре обычных случая. Проверка действий исполняет повторные записи в локальном журнале и сравнивает его итоговое состояние с целью. Поэтому ни одна система не проходит все заранее заданные критерии. Это учебные правила, а не измерение LLM или выборка реального трафика.

В этом опыте A решает 200/200 обычных запросов, B — 196/200. Разность равна 0,02; парный percentile-bootstrap с 5000 повторов даёт [0,005; 0,04], но точный тест Мак-Немара даёт $p=0.125$. Это полезное предупреждение о методе: несовпадений всего четыре, все в одну сторону. Эмпирический bootstrap не создаст успех B при ошибке A, которого не было в исходной выборке, и у границы может дать слишком узкий интервал. Поэтому нельзя объявлять победу только по этому интервалу; сами вымышленные повторяющиеся шаблоны также не доказывают обобщение на клиентов.

Демо к этому проектному упражнению: русскоязычный demo-notebook модуля 19, раздел «Демо 1». Он показывает компактный воспроизводимый пример на малых данных, а не готовое решение полномасштабного проекта.

Демо к этому проектному упражнению: русскоязычный demo-notebook модуля 19, раздел «Демо 2». Он показывает компактный воспроизводимый пример на малых данных, а не готовое решение полномасштабного проекта.