Модуль 15. Модели рассуждения и вычисления во время инференса (test-time compute)

Решение. При независимых попытках правильного ответа нет ни в одной из них с вероятностью $(1-p)^N$, поэтому покрытие равно $1-(1-p)^N$.

Это вероятность наличия правильного кандидата. Для её расчёта верификатор вообще не нужен. Она совпала бы с точностью системы при идеальном отборе; таблица не задаёт TPR/FPR реальной проверки и потому не предсказывает, какой ответ будет выбран.

Решение. Чтобы сравнение было определено, сохраним $p_{correct}=0.4$ и распределим оставшиеся 0.6 как (0.20, 0.20, 0.05, 0.05, 0.05, 0.05); равномерный вариант для сравнения имеет шесть вероятностей по 0.10. В переборе мультиномиальных исходов нужно заменить только вектор вероятностей, сохранив правило разрешения ничьих.

Частые дистракторы консолидируют неправильные голоса и чаще конкурируют с правильной модой; поэтому одинаковая вероятность $p$ одной попытки не гарантирует одинаковую пользу голосования.

Решение. Используем сценарий модуля $p_{correct}=0.4$: каждый кандидат независимо принимается с вероятностью 0.85, если он правилен, и 0.10 иначе; среди принятых выбираем равномерно, а при пустом наборе — случайный исходный кандидат. Точный перебор числа правильных и принятых кандидатов даёт:

После примерно $N=8$ дополнительный выигрыш быстро уменьшается. Предел равен $q=0.4\cdot0.85/(0.4\cdot0.85+0.6\cdot0.10)=0.85$. Он совпал с TPR только из-за выбранных чисел; в общем случае это доля правильных среди принятых. Уже §7 даёт другой предел, $12/13$, при TPR $=0.90$.

Решение. FP8 занимает 1 байт на элемент; K и V хранятся отдельно. Поэтому

$M_{token}=2\cdot48\cdot512\cdot1=49152\ \text{B}=48\ \text{KiB}.$

Относительно исходных 128 KiB на токен это уменьшение в $128/48=2.667$ раза. Это объём полезных данных без масштабов квантизации, выравнивания, накладных расходов распределителя памяти и рабочих буферов.

Демо к этому проектному упражнению: проектный ноутбук модуля 15, разделы «Демо 1» и «Демо 2» как отправная точка для проектной работы модуля. Он показывает компактный воспроизводимый пример на малых данных, а не готовое решение полномасштабного проекта.

Это проектное задание для самостоятельной работы. Используйте демонстрационные ноутбуки модуля как ориентир.

Ноутбуки модуля

Это проектное задание для самостоятельной работы. Используйте демонстрационные ноутбуки модуля как ориентир.

Ноутбуки модуля

Решение. При фиксированных входах и детерминированной среде тест проверяет конкретное требование воспроизводимым способом. Порядок ответов и многословие не влияют на его вердикт, а провал даёт контрпример. Но набор тестов охватывает только записанные входы и условия. Программа может подстроиться под видимые примеры, нарушать граничные случаи, требования безопасности или ограничения по времени. Кроме того, недетерминированная среда может сделать сам тест нестабильным. Поэтому прохождение тестов подтверждает требования в пределах проверенного покрытия; дополнительно нужны скрытые случаи, проверки свойств, генерация разнообразных входов и анализ самой спецификации.