Модуль 10. Поиск, проверка и вычислительный бюджет на этапе генерации

Для одного запроса сгенерировано 32 ответа. Хотя бы один правильный есть в 96% запусков, голосование правильно в 71%, а выбранный моделью-наградой ответ правилен в 83% запусков. Сопоставьте числа с pass@32, точностью самосогласованности и точностью Best-of-32. Почему нельзя оставить в отчёте только максимальное число?

У одиночной попытки эмпирическая точность 0,2. Формула независимости предсказывает pass@8 = 1-0.8^8. В реальном запуске все восемь ответов часто повторяют одну и ту же ошибку. Достаточно ли этого наблюдения, чтобы установить зависимость попыток или направление ошибки расчёта? Назовите независимый контрпример и предложите проверку протокола.

При четырёх голосах получены счётчики (2,2,0). Правильная категория имеет индекс 1. Какова вероятность правильного выбора при случайном разрешении ничьей? Что вернёт np.argmax и почему это опасно для теста?

Пусть $p=0.3$, $\alpha=0.2$, $\beta=0.6$. Улучшит ли отбор случайного принятого кандидата качество относительно базовых 0,3 при большом $N$?

Из одного префикса выполнено 8 независимых продолжений, 6 завершились успехом. Найдите оценку успеха и приблизительный 95%-й интервал Уилсона: (0.4093, 0.9285). Что показывает ширина интервала?

Два пути имеют одинаковые оценки шагов 0,9, но длины 2 и 10. Сравните произведения и средние. Какое предпочтение создаёт произведение?

У дочернего узла средняя ценность 0,6, число посещений 10; родитель посещён 100 раз; $c=\sqrt2$. Вычислите $0.6+c\sqrt{\ln 100/10}$.

Почему увеличение ширины луча может ухудшить результат при смещённой процессной оценке, хотя дерево содержит правильную ветвь?

Режимы имеют пары (стоимость, качество): A (1,0.70), B (2,0.80), C (3,0.75), D (4,0.85). Какие точки недоминируемы?

Максимум — 11 голосов. После 8 голосов лидер имеет 6, ближайший конкурент 2. Можно ли остановиться, если оставшиеся три голоса теоретически все могут достаться конкуренту?

Почему требование «хотя бы один ответ каждому запросу» может снизить суммарное ожидаемое покрытие, но оставаться правильным продуктовым решением?

Назовите по два обязательных поля для четырёх слоёв: генератор, выбор/поиск, стоимость, независимое качество.