Модуль 17. Эмбеддинги, поиск и RAG

Решение. Сырая память равна $N\cdot d\cdot b$. Для $N=10^7$, $d=1024$ и 4/2/1/0.125 байта на компонент получаем fp32 40.96 GB = 38.147 GiB, fp16 20.48 GB = 19.073 GiB, int8 10.24 GB = 9.537 GiB и binary 1.28 GB = 1.192 GiB. MRL-256 int8 хранит только 256 компонент: 2.56 GB = 2.384 GiB.

Скалярное произведение считается примерно за $2d$ FLOP. Полное сканирование: $10^7\cdot2\cdot1024=20.48$ GFLOP, то есть 2.048 с при 10 GFLOP/s. Для 2000 кандидатов: $2000\cdot2\cdot1024=4.096$ MFLOP, что при той же скорости требует 0.4096 мс. Отношение числа операций равно 5000; это не гарантированное ускорение запроса, потому что построение ANN, память и служебные затраты не учтены.

Замороженный скрипт выдаёт (MRR, Recall@5, nDCG@5): BM25 (0.9286, 0.7857, 0.8720), LSA (0.7619, 0.8571, 0.7553), RRF (0.9286, 0.7857, 0.8660), реранкер (1.0000, 0.8571, 0.9278). Эти цифры воспроизводят конкретный малый корпус, а не ранжируют методы вообще.

Решение. Шаг равен $400-64=336$. Первое окно покрывает 400 токенов; дальше нужно

$1+\left\lceil\frac{20\,000\,000-400}{336}\right\rceil=59\,524$

фрагмента. Бинарный вектор размерности 1024 использует $1024/8=128$ B, поэтому полезная нагрузка равна $59\,524\cdot128=7\,619\,072$ B = 7.266 MiB.

Сумма стадий: $0.0776+0.4096+104.7273+120.4338+1432.6648=\mathbf{1658.313}$ мс. Доля decode равна $1432.6648/1658.313=86.39\%$, а стадии поиска до prefill — $(0.0776+0.4096+104.7273)/1658.313=6.34\%$. Доли принадлежат только заданному сценарию.

Решение. Длина уменьшается в $200000/3712=\mathbf{53.8793}$ раза. При линейном масштабировании prefill: $6.4889/53.8793=0.120434$ с. KV полного документа равен $200000\cdot128$ KiB = 24.4141 GiB, а RAG — $3712\cdot128$ KiB = 0.453125 GiB; отношение снова 53.8793. Совпадение коэффициентов возникает только потому, что предполагаются одна архитектура, постоянные байты на токен и линейная оценка prefill; качество поиска из этой арифметики не следует.

Демо к этому проектному упражнению: русскоязычный проектный ноутбук модуля 17, раздел «Демо 1». Он показывает компактный воспроизводимый пример на малых данных, а не готовое решение полномасштабного проекта.

Демо к этому проектному упражнению: русскоязычный проектный ноутбук модуля 17, раздел «Демо 2». Он показывает компактный воспроизводимый пример на малых данных, а не готовое решение полномасштабного проекта.