Модуль 2. Токенизация и эмбеддинги

Решение. До BPE-слияний каждый байт UTF-8 является отдельным базовым токеном. В Привет, мир! девять кириллических букв (Привет — 6, мир — 3) занимают $9\cdot2=18$ байт; запятая, пробел и ! добавляют ещё 3. Итого 21. Hello, world! целиком состоит из 13 ASCII-символов, поэтому даёт 13 байтов. В наивный 🚀 семь кириллических букв дают 14 байт, пробел — 1, эмодзи — 4: всего 19. Проверка без токенизатора: len(text.encode("utf-8")).

Решение.

def encode_by_rank(text, merges):
    chunks = re.findall(PAT, text)
    out = []
    for chunk in chunks:
        ids = list(chunk.encode("utf-8"))
        while len(ids) > 1:
            pairs = set(zip(ids[:-1], ids[1:]))
            best = min(pairs, key=lambda pair: merges.get(pair, float("inf")))
            if best not in merges:
                break
            ids = merge([ids], best, merges[best])[0]
        out.extend(ids)
    return out

На инференсе нет частот корпуса: порядок задаётся рангами, сформированными во время обучения.

Алгоритм сначала применяет предварительное разбиение и обрабатывает каждый чанк независимо. Внутри чанка он перечисляет соседние пары, выбирает пару с минимальным числовым рангом и сливает все её допустимые вхождения. Если ни одной присутствующей пары нет в merges, обработка чанка завершена. Частоту пары заново считать нельзя: частоты использовались при обучении BPE, а при кодировании их результат уже зафиксирован в рангах.

Решение. Воспроизводимый протокол должен фиксировать: точный снимок корпуса и его срезы, нормализацию и правило выделения слов, имя и ревизию токенизатора, а также режим добавления специальных токенов. Для каждой строки считаем число UTF-8-байтов $b_i$, слов $w_i$ и токенов $t_i$ (обычно без служебных маркеров начала и конца последовательности — BOS, beginning of sequence, и EOS, end of sequence), после чего агрегируем

Это micro-агрегация: каждое слово имеет одинаковый вес. Среднее $\frac1N\sum_i t_i/w_i$ даёт каждой строке одинаковый вес, поэтому короткая строка из одного слова влияет так же, как длинное предложение; строки с $w_i=0$ дополнительно требуют отдельного правила. В отчёте нужно опубликовать также $\sum w_i$, $\sum t_i$, $\sum b_i$ и число исключённых строк — тогда результат можно перепроверить.

Демо к этому проектному упражнению: русскоязычный проектный ноутбук модуля 2, раздел «1. Что именно стоит в знаменателе?». Он показывает компактный воспроизводимый пример на малых данных, а не готовое решение полномасштабного проекта.

Для каждого языка задайте подходящее правило сегментации слов либо сравнивайте токены на выровненное предложение. Регулярное выражение непрерывных букв считает китайскую строку одним фрагментом; это не одно лингвистическое слово. Демо показывает знаменатели и число единиц на предложение, а его wordrun_proxy не является WordPiece.

Ожидаемый результат для снимка 11 октября 2026: 1091 имя, 1090 уникальных специальных ID, 10 протокольных имён, 1081 имя reserved; вместе с 199 998 обычных ID получается n_vocab=201088.

Решение. Выбранные строки равны [[1,0],[0,1],[1,0]], логиты — [1,2,0], максимум имеет ID 1. Параметров $16384\cdot512=8388608$, BF16-память равна $16777216$ байт = 16 MiB. Повторяющийся ID 0 накапливает два вклада: градиент [[2,0],[0,0],[0,1]]. При шаге 0.1 новая таблица [[0.8,0],[2,0],[0,0.9]], а $L$ уменьшается с 1.5 до 1.045. В ноутбуке градиент независимо проверяется конечными разностями; упражнение показывает, как выбор строк передаёт градиент таблице; семантические свойства этой игрушечной целью не проверяются.