Модуль 18. Агенты и работа с инструментами

Решение. Без сохранения префикса на шаге $i$ снова обрабатывается вся история $3000+1500i$. Арифметическая прогрессия даёт $20\cdot3000+1500\cdot(0+\cdots+19)=345000$ токенов. При сохранении префикса его исходная часть обрабатывается один раз, а каждый прирост — один раз: $3000+19\cdot1500=31500$, то есть в 10.9524 раза меньше входных позиций. Чтение старого KV новыми запросами этим отношением не описывается. Финальная KV-память: $33000\cdot128$ KiB = 4.0283 GiB.

Условная оценка prefill по $2PT$ равна $2\cdot8.03\text{B}\cdot1500/(495\text{ TFLOP/s})=48.667$ мс. Decode: $90/209.4=429.799$ мс; инструмент: 300 мс. Сумма 778.466 мс, доля decode $429.799/778.466=55.21\%$. Это сценарная условная оценка без очередей и накладных расходов среды исполнения.

Решение. Без повторных попыток все шаги должны быть успешны: $0.98^{20}=0.66761$, $0.95^{20}=0.35849$. С одной независимой повторной попыткой успех отдельного шага равен $1-(1-p)^2$: 0.9996 и 0.9975. Возведение в 20-ю степень даёт 0.99203 и 0.95117. Для 90% успеха на 50 шагах требуется $p^{50}=0.9$, то есть $p=0.9^{1/50}=0.997895$.

При равномерном делении работа занимает $400/20=20$ минут; критический путь $5+20+20=45$ минут. Отсюда ускорение $400/45=8.89\times$ относительно полезной работы и $(5+400+20)/45=9.44\times$ относительно полного последовательного выполнения. Даже при бесконечном числе исполнителей последовательные 25 минут ограничивают их 16× и 17×. KV всех контекстов: $20\cdot30000\cdot128$ KiB = 73.242 GiB. Независимость повторов и идеальное разбиение — сильные допущения.

Решение. JSON-путь использует $5\cdot90=450$ токенов и пять переходов «модель — инструмент»; CodeAct — 160 токенов и один. Поэтому отношения равны $450/160=\mathbf{2.8125\times}$ и $5/1=\mathbf{5\times}$. Коэффициент $150000/(2\cdot8.03\text{B})=9.33998\cdot10^{-6}$ сравнивает 150 тыс. проверок допустимых токенов с приближённым числом FLOP $2P$ на один токен модели; это отношение чисел с различными единицами работы, а не доля времени выполнения.

Воспроизводимая трасса начинается с lookup(sensor_bach) и получает tool_error; затем исправляет ключ на sensor_batch и получает 13.96; третье действие вызывает калькулятор с 13.96 * 2 и получает 27.92; после этого следует Answer: 27.92. Последовательность событий: assistant_action → tool_error → assistant_action → tool_result → assistant_action → tool_result → assistant_final → verification_pass; три обращения к реестру, одна ошибка и статус completed. Существенный инвариант — ошибка возвращается политике как наблюдение, а не исполняется бесконтрольно.

Демо к этому проектному упражнению: русскоязычный demo-notebook модуля 18, раздел «Демо 1». Он показывает компактный воспроизводимый пример на малых данных, а не готовое решение полномасштабного проекта.

Демо к этому проектному упражнению: русскоязычный demo-notebook модуля 18, раздел «Демо 2». Он показывает компактный воспроизводимый пример на малых данных, а не готовое решение полномасштабного проекта.