Модуль 16. Мультимодальные LLM: зрение, аудио и видео

Решение. Сетка 336×336 при патче 14 имеет $336/14=24$ позиции по каждой оси, то есть $24^2=576$ токенов. Четыре локальных тайла плюс миниатюра — пять таких сеток: $5\cdot576=2880$. Для 1008×1008 получаем $72^2=5184$ патча; объединение 2×2 объединяет четыре соседних позиции, поэтому остаётся $5184/4=1296$.

При 128 KiB на токен расходы равны $576\cdot128/1024=72$ MiB, $2880\cdot128/1024=360$ MiB и $1296\cdot128/1024=162$ MiB. В 65 GiB = 66 560 MiB помещается не более $\lfloor66560/M\rfloor$: 924, 184 и 410 изображений. Это границы только по KV: текст, ответ, активации, буферы и визуальный энкодер не учтены.

Решение. В строке одно положительное сходство 0.8 и три одинаковых отрицательных сходства 0.2, поэтому

$p_+=\frac{e^{0.8/\tau}}{e^{0.8/\tau}+3e^{0.2/\tau}}=\frac1{1+3e^{-0.6/\tau}},\qquad L=-\log p_+.$

При $\tau=0.1$ получаем $p_+=0.992619$, $L=0.007409$; при $\tau=0.5$ — $p_+=0.525325$, $L=0.643738$. Если все четыре сходства равны, $p_+=1/4$ и $L=\log4=1.386294$.

В первом линейном слое со смещением $1024\cdot4096+4096=4\,198\,400$ параметров; во втором $4096^2+4096=16\,781\,312$. Сумма: 20 979 712.

Решение. Два часа при 1 fps дают $2\cdot3600=7200$ исходных кадров. После резерва для текста визуальный бюджет равен $256000-4000=252000$ токенов. Поэтому помещается $\lfloor252000/576\rfloor=437$ или $\lfloor252000/144\rfloor=1750$ кадров. Обратная плотность выборки равна $7200/437=16.476$ с или $7200/1750=4.114$ с на сохранённый кадр.

KV всего визуального бюджета равен $252000\cdot128$ KiB = 30.7617 GiB; полный контекст из 256 000 токенов — $256000\cdot128$ KiB = 31.25 GiB. Эти значения относятся к позициям после процессора и объединения, а не к числу исходных пикселей.

Для конкретных индексов с обоими концами ряда средние промежутки равны 16.5115 и 4.1161 с. Режим 437 кадров занимает 251 712 визуальных позиций, то есть 30.7266 GiB, а не весь визуальный резерв.

Демо к этому проектному упражнению: русскоязычный проектный ноутбук модуля 16, раздел «Демо 1». Он показывает компактный воспроизводимый пример на малых данных, а не готовое решение полномасштабного проекта.

Демо к этому проектному упражнению: русскоязычный проектный ноутбук модуля 16, раздел «Демо 2». Он показывает компактный воспроизводимый пример на малых данных, а не готовое решение полномасштабного проекта.

Решение. При начале окна каждые 160 отсчётов до конца сигнала получаем $\lceil96001/160\rceil=601$ кадр, затем $\lceil601/4\rceil=151$ позицию. Последняя группа содержит один кадр, поэтому деление на четыре искусственно уменьшило бы его признаки. Книги задают разные коды одного временного кадра; их можно передавать в отдельные позиции, объединять или предсказывать дополнительным модулем. Схема декодера определяет окончательную длину.