Современные LLM2 / 20

Модуль 2. Токенизация и эмбеддинги

Выберите ответы и нажмите «Проверить». Для чисел подходят точка, запятая и простые дроби. Ответы и черновики сохраняются в этом браузере и общие для RU/EN.

Проверено: 0 / 16 · Верно: 0

Вопрос 2.3.1

2.3. Токенизация как сжатие последовательности

Что именно измеряет bytes/token в эксперименте с фиксированным токенизатором?

Один правильный вариантAСколько исходных UTF-8-байтов в среднем представляет один token ID в данном текстеBПолный размер сжатого файла с учётом словаря, метаданных и упаковки IDsCСреднюю вероятность выбранных token IDs по распределению языковой модели

A) Сколько исходных UTF-8-байтов в среднем представляет один token ID в данном тексте

B) Полный размер сжатого файла с учётом словаря, метаданных и упаковки IDs

C) Среднюю вероятность выбранных token IDs по распределению языковой модели

Ответ и разбор

Правильный ответ: A. Bytes/token — удобная мера длины последовательности: сколько исходных UTF-8-байтов в среднем приходится на один token ID. Для полного битового коэффициента сжатия нужно учитывать разрядность идентификаторов, словарь и метаданные.

Вопрос 2.4.1

2.4. Токенизатор как последовательность операций

Почему byte-level BPE не нуждается в токене OOV?

Один правильный вариантAОн удаляет символы, которых не было в обучающем корпусеBЛюбая строка UTF-8 разлагается на базовые байты, уже присутствующие в словареCОн заранее резервирует отдельный токен для каждого Unicode-символа

A) Он удаляет символы, которых не было в обучающем корпусе

B) Любая строка UTF-8 разлагается на базовые байты, уже присутствующие в словаре

C) Он заранее резервирует отдельный токен для каждого Unicode-символа

Ответ и разбор

Правильный ответ: B. Базовый алфавит содержит 256 байтов. Слияния лишь добавляют более длинные единицы, поэтому неизвестная строка всегда остаётся представимой без Out of Vocabulary.

Вопрос 2.4.2

2.4. Токенизатор как последовательность операций

Когда decode(encode(s)) может не восстановить исходное написание?

Один правильный вариантAКогда число BPE-слияний больше нуля, даже без нормализацииBКогда один токен содержит несколько полных UTF-8-символовCКогда нормализация до токенизации изменяет символы или пробелы

A) Когда число BPE-слияний больше нуля, даже без нормализации

B) Когда один токен содержит несколько полных UTF-8-символов

C) Когда нормализация до токенизации изменяет символы или пробелы

Ответ и разбор

Правильный ответ: C. При полном покрытии нормализованного текста восстанавливается N(s). Наш BBPE без нормализации сохраняет корректный UTF-8 точно; замена на UNK может дополнительно терять информацию.

Вопрос 2.5.1

2.5. Решённый пример: от строки до кривой компрессии

Почему при кодировании BPE-слияния применяются по выученным рангам, а не по текущей частоте пары?

Один правильный вариантAЧастоты нужны при обучении; ранг затем фиксирует детерминированный разбор текстаBРанг кодирует частоту пары в новом тексте и пересчитывается при каждом запросеCРанг используется лишь для выбора нового ID, но не влияет на границы токенов

A) Частоты нужны при обучении; ранг затем фиксирует детерминированный разбор текста

B) Ранг кодирует частоту пары в новом тексте и пересчитывается при каждом запросе

C) Ранг используется лишь для выбора нового ID, но не влияет на границы токенов

Ответ и разбор

Правильный ответ: A. После обучения словарь должен воспроизводить один и тот же разбор для модели и её весов. Частоты нового текста не меняют merge list; выбирается присутствующая пара с лучшим рангом.

Вопрос 2.5.2

2.5. Решённый пример: от строки до кривой компрессии

Если сравнить только RU train (6.535 bytes/token) и EN held-out (1.317), какой вывод обоснован?

Один правильный вариантAИзолирован чистый эффект обобщения на новые данные того же языкаBЭти корпуса сжимаются по-разному; язык и участие в обучении меняются вместеCРусский при любом токенизаторе в 4.96 раза дешевле английского

A) Изолирован чистый эффект обобщения на новые данные того же языка

B) Эти корпуса сжимаются по-разному; язык и участие в обучении меняются вместе

C) Русский при любом токенизаторе в 4.96 раза дешевле английского

Ответ и разбор

Правильный ответ: B. Эти два числа смешивают язык и участие в обучении. В лекции добавлен RU held-out (5.542): он позволяет отдельно увидеть разницу train/eval на русском. Даже параллельные RU/EN тексты имеют разную длину в UTF-8; bytes/token не измеряет цену равного смысла или KL.

Вопрос 2.5.3

2.5. Решённый пример: от строки до кривой компрессии

Что измеряет fertility токенизатора?

Один правильный вариантAЧисло слияний на миллион байтов обучающего корпуса при заданном vocab_sizeBДолю специальных и reserved IDs среди всех идентификаторов токенизатораCСреднее число токенов на слово или другую выбранную единицу по явному протоколу

A) Число слияний на миллион байтов обучающего корпуса при заданном vocab_size

B) Долю специальных и reserved IDs среди всех идентификаторов токенизатора

C) Среднее число токенов на слово или другую выбранную единицу по явному протоколу

Ответ и разбор

Правильный ответ: C. Fertility всегда относится к паре «токенизатор × конкретный текст × правило подсчёта слов». Поэтому её следует публиковать вместе с корпусом, bytes/token и протоколом.

Вопрос 2.8.1

2.8. Реальная реализация: o200k_base, Harmony и специальные токены

Как точно складывается размер словаря o200k_harmony?

Один правильный вариантA199 998 mergeable IDs + 1 090 уникальных special IDs = 201 088B200 019 текстовых + 16 управляющих + 1 075 reserved = 201 110C201 088 обычных токенов без специальных идентификаторов

A) 199 998 mergeable IDs + 1 090 уникальных special IDs = 201 088

B) 200 019 текстовых + 16 управляющих + 1 075 reserved = 201 110

C) 201 088 обычных токенов без специальных идентификаторов

Ответ и разбор

Правильный ответ: A. В отображении есть 1091 имя специального токена, но 1090 уникальных IDs: <|endofprompt|> и <|reserved_200018|> являются алиасами ID 200018. Резервных имён — 1081, протокольных — 10.

Вопрос 2.8.2

2.8. Реальная реализация: o200k_base, Harmony и специальные токены

Что по умолчанию делает tiktoken.encode, если вход буквально содержит зарегистрированную строку специального токена?

Один правильный вариантAБезусловно превращает строку в управляющий ID, если написание совпало точноBПо умолчанию выдаёт ошибку; политику special или ordinary задаёт приложениеCВсегда разбивает строку на символы, игнорируя таблицу специальных токенов

A) Безусловно превращает строку в управляющий ID, если написание совпало точно

B) По умолчанию выдаёт ошибку; политику special или ordinary задаёт приложение

C) Всегда разбивает строку на символы, игнорируя таблицу специальных токенов

Ответ и разбор

Правильный ответ: B. Специальные строки являются протокольной границей. allowed_special разрешает их как управляющие токены; encode_ordinary или disallowed_special=() обрабатывают написание как обычный текст.

Вопрос 2.8.3

2.8. Реальная реализация: o200k_base, Harmony и специальные токены

Почему одного списка «token → id» недостаточно для воспроизведения промышленного токенизатора?

Один правильный вариантAИдентификаторы токенов меняются случайно при каждом новом запуске программыBEmbedding-матрица обязана храниться внутри того же tokenizer.jsonCНужны нормализация, предварительное разбиение, ранги, декодер и политика специальных токенов

A) Идентификаторы токенов меняются случайно при каждом новом запуске программы

B) Embedding-матрица обязана храниться внутри того же tokenizer.json

C) Нужны нормализация, предварительное разбиение, ранги, декодер и политика специальных токенов

Ответ и разбор

Правильный ответ: C. Токенизатор — детерминированная программа, а не только словарь строк. Замена любого из этих компонентов может изменить IDs и сделать вход несовместимым с весами модели.

Вопрос 2.9.1

2.9. Три разных размера словаря

У o200k_base определено 200 000 ID, максимальный ID — 200018. Что вернёт n_vocab?

Один правильный вариантA200000: всегда ровно число определённых IDB199998: только число обычных токеновC200019: максимальный ID плюс один, включая пропуски

A) 200000: всегда ровно число определённых ID

B) 199998: только число обычных токенов

C) 200019: максимальный ID плюс один, включая пропуски

Ответ и разбор

Правильный ответ: C. n_vocab в tiktoken — размер диапазона ID. Здесь 19 пропусков; размер embedding-матрицы закрытой модели из этого поля не следует.

Вопрос 2.9.2

2.9. Три разных размера словаря

Почему больший vocab_size не гарантирует лучшую токенизацию любого языка?

Один правильный вариантAДополнительные слияния распределяются по train-данным, а не поровну между языкамиBБольшой словарь удаляет базовые байты и потому теряет редкие Unicode-символыCПосле порога 100K размер словаря перестаёт влиять на сегментацию текста

A) Дополнительные слияния распределяются по train-данным, а не поровну между языками

B) Большой словарь удаляет базовые байты и потому теряет редкие Unicode-символы

C) После порога 100K размер словаря перестаёт влиять на сегментацию текста

Ответ и разбор

Правильный ответ: A. Выделенная размерность матрицы и число определённых ID могут различаться. Даже большее число обычных токенов не гарантирует лучшего разбиения: важны обучающий корпус и правила алгоритма.

Вопрос 2.10.1

2.10. Fertility, fairness и доменные различия

Что корректно сказать о группировании цифр по 1–3 символа в современном pre-tokenization?

Один правильный вариантAТакое правило само по себе гарантирует точное сложение любых многозначных чиселBОно делает сегментацию регулярнее, но не гарантирует и не является условием арифметикиCЕго единственная цель — ограничить полный словарь ровно одной тысячей IDs

A) Такое правило само по себе гарантирует точное сложение любых многозначных чисел

B) Оно делает сегментацию регулярнее, но не гарантирует и не является условием арифметики

C) Его единственная цель — ограничить полный словарь ровно одной тысячей IDs

Ответ и разбор

Правильный ответ: B. Регулярная сегментация меняет индуктивное смещение и может облегчать некоторые числовые задачи. Способность считать всё равно зависит от данных, архитектуры и обучения.

Вопрос 2.11.1

2.11. Эмбеддинги: чтение ID и предсказание следующего токена

E=[[1,0],[2,0],[0,1]], h=E[0], U=E.T. Какой ID имеет максимальный логит?

Один правильный вариантAID 0: связанные веса всегда инвертируют lookupBID 2: последний ID всегда имеет наибольший логитCID 1: логиты равны [1,2,0]

A) ID 0: связанные веса всегда инвертируют lookup

B) ID 2: последний ID всегда имеет наибольший логит

C) ID 1: логиты равны [1,2,0]

Ответ и разбор

Правильный ответ: C. Выходная проекция вычисляет скалярные произведения и не обращает lookup. Декодирование выбранных ID — отдельная операция.

Вопрос 2.11.2

2.11. Эмбеддинги: чтение ID и предсказание следующего токена

У модели vocab_size=16 384 и hidden size=512. Сколько параметров содержит одна embedding-матрица?

Один правильный вариантA8 388 608B16 384C16 777 216 независимо от weight tying

A) 8 388 608

B) 16 384

C) 16 777 216 независимо от weight tying

Ответ и разбор

Правильный ответ: A. Одна матрица имеет V·d = 16 384·512 = 8 388 608 параметров. Untied output head добавит ещё одну матрицу того же размера.

Вопрос 2.11.3

2.11. Эмбеддинги: чтение ID и предсказание следующего токена

Для E=[[1,0],[2,0],[0,1]], ID [0,2,0] и нулевых целей потеря равна L=½·sum(E[ids]²). Чему равен градиент по строке E[0]?

Один правильный вариантA[1,0]: строка учитывается один раз независимо от числа вхожденийB[2,0]: два выбора строки дают два одинаковых вкладаC[0,0]: входная таблица не обучается через выбор строк

A) [1,0]: строка учитывается один раз независимо от числа вхождений

B) [2,0]: два выбора строки дают два одинаковых вклада

C) [0,0]: входная таблица не обучается через выбор строк

Ответ и разбор

Правильный ответ: B. Каждое вхождение ID 0 даёт производную E[0]=[1,0]. Вклады суммируются: [2,0]. np.add.at корректно накапливает повторные индексы; grad[ids] += ... их не суммирует.

Вопрос 2.12.1

2.12. Мультимодальная проекция: где аналогия с токенизацией полезна

Почему визуальный projector является только частичным аналогом текстовой токенизации?

Один правильный вариантAProjector обязательно использует тот же BPE-словарь, что и текстовый декодерBПатчи обычно становятся непрерывными векторами, а не дискретными text token IDsCProjector применяется только после последнего Transformer-слоя языковой модели

A) Projector обязательно использует тот же BPE-словарь, что и текстовый декодер

B) Патчи обычно становятся непрерывными векторами, а не дискретными text token IDs

C) Projector применяется только после последнего Transformer-слоя языковой модели

Ответ и разбор

Правильный ответ: B. Обе системы создают последовательность элементов для Transformer, но текстовый токенизатор выдаёт дискретные IDs, а типичный vision encoder/projector — непрерывные представления. Дискретные аудиокодеки ближе к буквальной аналогии.