Теория информации для машинного обучения13 / 16

Модуль 13. Рассуждение в LLM: вычисление, поиск и информация

Выберите ответы и нажмите «Проверить». Для чисел подходят точка, запятая и простые дроби. Ответы и черновики сохраняются в этом браузере и общие для RU/EN.

Проверено: 0 / 25 · Верно: 0

Вопрос 13.1.1

13.1. Что меняется, когда модель «думает дольше»

Какое утверждение точнее всего описывает длинную цепочку рассуждения?

Один правильный вариантAОна всегда является доказательством пониманияBОна может служить рабочим черновиком, но сама по себе не гарантирует ни правильность, ни верность причинному механизмуCОна обязательно содержит внешние факты, отсутствовавшие в запросеDКачество рассуждения определяется только числом токенов

A) Она всегда является доказательством понимания

B) Она может служить рабочим черновиком, но сама по себе не гарантирует ни правильность, ни верность причинному механизму

C) Она обязательно содержит внешние факты, отсутствовавшие в запросе

D) Качество рассуждения определяется только числом токенов

Ответ и разбор

Правильный ответ: B. Длина траектории задаёт вычислительный ресурс и наблюдаемый артефакт, но не сертификат корректности.

Вопрос 13.2.1

13.2. Амортизация, рабочий черновик и поиск

Когда последовательная генерация становится явным поиском?

Один правильный вариантAКогда в ответе появляется формулаBПри любой авторегрессивной генерацииCКогда температура равна нулюDКогда система сохраняет альтернативы, получает обратную связь или может пересмотреть ранний выбор

A) Когда в ответе появляется формула

B) При любой авторегрессивной генерации

C) Когда температура равна нулю

D) Когда система сохраняет альтернативы, получает обратную связь или может пересмотреть ранний выбор

Ответ и разбор

Правильный ответ: D. Одна длинная траектория остаётся одной траекторией; поиск требует альтернатив и процедуры выбора, ветвления или возврата.

Вопрос 13.2.2

13.2. Амортизация, рабочий черновик и поиск

Что корректно сказать об аналогии LLM с индукцией Соломонова?

Один правильный вариантAЛюбая LLM наследует универсальную гарантию доминированияBTransformer буквально суммирует все вычислимые программыCАналогия доказывает универсальную оптимальность практической LLMDЭто полезная исследовательская линза, но не теорема о конечной обученной модели

A) Любая LLM наследует универсальную гарантию доминирования

B) Transformer буквально суммирует все вычислимые программы

C) Аналогия доказывает универсальную оптимальность практической LLM

D) Это полезная исследовательская линза, но не теорема о конечной обученной модели

Ответ и разбор

Правильный ответ: D. Практическая LLM не реализует универсальную полумеру и не наследует её гарантии.

Вопрос 13.3.1

13.3. Почему промежуточные токены могут помогать

Почему последовательное рабочее состояние помогает в задаче чётности?

Один правильный вариантAОно меняет правильный ответBОно добавляет новые обучающие данныеCОно реализует последовательное вычисление, после которого ответ доступен ограниченному считывающему слоюDОно увеличивает энтропию исходного входа

A) Оно меняет правильный ответ

B) Оно добавляет новые обучающие данные

C) Оно реализует последовательное вычисление, после которого ответ доступен ограниченному считывающему слою

D) Оно увеличивает энтропию исходного входа

Ответ и разбор

Правильный ответ: C. Изменяется вычислительная доступность функции, а не набор входных данных.

Вопрос 13.4.1

13.4. Новая информация или новое вычисление?

Пусть $C=G_\theta(X,U)$ и $U\perp Y^*\mid X$ . Чему равно $I(Y^*;C\mid X)$ ?

Один правильный вариантAНулюB

H(C)

I(X;C)

DВсегда бесконечности

A) Нулю

B) $H(C)$

C) $I(X;C)$

D) Всегда бесконечности

Ответ и разбор

Правильный ответ: A. При известном X внутренняя цепочка условно независима от правильного ответа.

Вопрос 13.4.2

13.4. Новая информация или новое вычисление?

Почему точность ограниченной модели всё же может вырасти после построения черновика?

Один правильный вариантAНарушается неравенство обработки данныхBУсловная взаимная информация становится отрицательнойCЧерновик всегда извлекает скрытый ответ из обучающего набораDМеняется доступная вычислительная процедура, а не истинная условная энтропия задачи

A) Нарушается неравенство обработки данных

B) Условная взаимная информация становится отрицательной

C) Черновик всегда извлекает скрытый ответ из обучающего набора

D) Меняется доступная вычислительная процедура, а не истинная условная энтропия задачи

Ответ и разбор

Правильный ответ: D. Модель может лучше преобразовать те же данные благодаря последовательным шагам и рабочей памяти.

Вопрос 13.4.3

13.4. Новая информация или новое вычисление?

Какой объект способен добавить новую шенноновскую информацию о $Y^*$ сверх $X$ ?

Один правильный вариантAВнешнее наблюдение

O

I(Y^*;O\mid X)>0

BПерефразирование внутренней цепочкиCПовторное чтение того же запросаDУменьшение температуры сэмплирования

A) Внешнее наблюдение $O$ с $I(Y^*;O\mid X)>0$

B) Перефразирование внутренней цепочки

C) Повторное чтение того же запроса

D) Уменьшение температуры сэмплирования

Ответ и разбор

Правильный ответ: A. Поиск, датчик, скрытый тест или обратная связь среды могут принести данные, отсутствовавшие во входе.

Вопрос 13.4.4

13.4. Новая информация или новое вычисление?

Что измеряет предиктивная энтропия модели после промежуточного шага?

Один правильный вариантAТочную вероятность правильности рассужденияBИстинную условную энтропию

H(Y^*\mid X,C)

CКонцентрацию собственного предиктивного распределения моделиDВерность цепочки причинному механизму

A) Точную вероятность правильности рассуждения

B) Истинную условную энтропию $H(C)$

C) Концентрацию собственного предиктивного распределения модели

D) Верность цепочки причинному механизму

Ответ и разбор

Правильный ответ: C. Модель может стать увереннее и одновременно ошибиться.

Вопрос 13.4.5

13.4. Новая информация или новое вычисление?

Если $S_j=(X,C_{\le j})$ и цепочка генерируется только из $X$ , чему равно $I(Y^*;C_j\mid X,C_{<j})$ ?

Один правильный вариантAНулюB

I(X;Y^*)

CПоложительной константеD

H(C_j)

A) Нулю

B) $H(C)$

C) Положительной константе

D) $H(C_j)$

Ответ и разбор

Правильный ответ: A. Новый внутренний токен не является внешним наблюдением при известном полном входе.

Вопрос 13.5.1

13.5. Что можно измерять по шагам

Когда разность кросс-энтропий вспомогательных предикторов совпадает с $I(Y;S_j\mid S_{j-1})$ ?

Один правильный вариантAКогда состояния вложены и вариационные разрывы предикторов контролируютсяBВсегда, если цепочка длиннее одного токенаCТолько при детерминированном

Y

DКогда предиктивная энтропия модели уменьшается

A) Когда состояния вложены и вариационные разрывы предикторов контролируются

B) Всегда, если цепочка длиннее одного токена

C) Только при детерминированном $Y$

D) Когда предиктивная энтропия модели уменьшается

Ответ и разбор

Правильный ответ: A. В общем случае присутствуют член потери информации старого состояния и разность вариационных разрывов.

Вопрос 13.5.2

13.5. Что можно измерять по шагам

Как лучше всего исследовать верность видимой цепочки причинному механизму?

Один правильный вариантAИзмерить только длину текстаBПосчитать математические символыCВмешиваться в промежуточные шаги и проверять изменение ответаDИспользовать только заявленную моделью уверенность

A) Измерить только длину текста

B) Посчитать математические символы

C) Вмешиваться в промежуточные шаги и проверять изменение ответа

D) Использовать только заявленную моделью уверенность

Ответ и разбор

Правильный ответ: C. Верность — причинный вопрос, поэтому одного наблюдения убедительного объяснения недостаточно.

Вопрос 13.5.3

13.5. Что можно измерять по шагам

Что может означать неизменность ответа после удаления промежуточного шага?

Один правильный вариантAТолько абсолютную корректность системыBЛибо устойчивое восстановление решения, либо игнорирование видимой цепочкиCТолько ошибку оцениванияDГарантированное отсутствие внутреннего вычисления

A) Только абсолютную корректность системы

B) Либо устойчивое восстановление решения, либо игнорирование видимой цепочки

C) Только ошибку оценивания

D) Гарантированное отсутствие внутреннего вычисления

Ответ и разбор

Правильный ответ: B. Для различения нужны дополнительные вмешательства и независимые проверки.

Вопрос 13.6.1

13.6. Одна длинная траектория или много кандидатов?

При независимых попытках и $p>1/2$ что происходит с точностью большинства при росте нечётного $N$ ?

Один правильный вариантAСтремится к

1/2

BСтремится к единицеCОстаётся равной

p

DОбязательно падает

A) Стремится к $O$

B) Стремится к единице

C) Остаётся равной $p$

D) Обязательно падает

Ответ и разбор

Правильный ответ: B. Это следует из биномиальной формулы и закона больших чисел.

Вопрос 13.6.2

13.6. Одна длинная траектория или много кандидатов?

Как полностью коррелированные ошибки влияют на выигрыш от голосования?

Один правильный вариантAУстраняют его: голосование эквивалентно одной попыткеBУдваивают егоCГарантируют точность одинDПревращают задачу в байесовский вывод

A) Устраняют его: голосование эквивалентно одной попытке

B) Удваивают его

C) Гарантируют точность один

D) Превращают задачу в байесовский вывод

Ответ и разбор

Правильный ответ: A. Копии одной ошибки не создают независимых свидетельств.

Вопрос 13.6.3

13.6. Одна длинная траектория или много кандидатов?

При идеальном верификаторе вероятность успеха best-of-N равна:

Один правильный вариантA

p/N

1-(1-p)^N

p^N

1-pN

A) $O$

B) $1-(1-p)^N$

C) $p^N$

D) $1-pN$

Ответ и разбор

Правильный ответ: B. Достаточно, чтобы хотя бы один кандидат оказался правильным.

Вопрос 13.6.4

13.6. Одна длинная траектория или много кандидатов?

Почему selected accuracy слабого верификатора может падать при росте $N$ ?

Один правильный вариантAВозрастает шанс встретить редкий ложный кандидат, эксплуатирующий оценивательBПравильные решения исчезают из набораCЗакон больших чисел перестаёт действоватьDOracle pass@N обязательно падает

A) Возрастает шанс встретить редкий ложный кандидат, эксплуатирующий оцениватель

B) Правильные решения исчезают из набора

C) Закон больших чисел перестаёт действовать

D) Oracle pass@N обязательно падает

Ответ и разбор

Правильный ответ: A. Большая выборка увеличивает и покрытие генератора, и число возможностей для ошибки выбора.

Вопрос 13.7.1

13.7. In-context learning: когда контекст действительно приносит данные

Чем демонстрации в запросе принципиально отличаются от внутренней цепочки в модели скрытой задачи?

Один правильный вариантAРазличий нетBДемонстрации всегда корочеCВнутренняя цепочка обязательно использует другой токенизаторDДемонстрации могут нести новую информацию о скрытой задаче

A) Различий нет

B) Демонстрации всегда короче

C) Внутренняя цепочка обязательно использует другой токенизатор

D) Демонстрации могут нести новую информацию о скрытой задаче

Ответ и разбор

Правильный ответ: D. При I(Z;D)>0 примеры обновляют состояние знания о правиле задачи.

Вопрос 13.7.2

13.7. In-context learning: когда контекст действительно приносит данные

Что корректно сказать об ICL как байесовском выводе?

Один правильный вариантAЭто доказано для любой LLM и любого запросаBБайесовский вывод невозможен в TransformerCЭто точная интерпретация в специальных генеративных постановках и полезная модель шире нихDICL всегда сводится к поиску ближайшего соседа

A) Это доказано для любой LLM и любого запроса

B) Байесовский вывод невозможен в Transformer

C) Это точная интерпретация в специальных генеративных постановках и полезная модель шире них

D) ICL всегда сводится к поиску ближайшего соседа

Ответ и разбор

Правильный ответ: C. Строгий результат зависит от модели происхождения данных и архитектурных предпосылок.

Вопрос 13.8.1

13.8. Как модели учатся рассуждать

Что непосредственно оценивает награда за результат?

Один правильный вариантAВерность каждого промежуточного шагаBИстинную причинную структуру вычисления моделиCФинальный проверяемый результатDПолную информационную ценность траектории

A) Верность каждого промежуточного шага

B) Истинную причинную структуру вычисления модели

C) Финальный проверяемый результат

D) Полную информационную ценность траектории

Ответ и разбор

Правильный ответ: C. Такой сигнал масштабируется в проверяемых задачах, но плохо локализует место ошибки.

Вопрос 13.8.2

13.8. Как модели учатся рассуждать

Почему KL-якорь в RLHF не является PAC-Bayes-сертификатом?

Один правильный вариантAВ RLHF отсутствуют вероятностиBPAC-Bayes запрещает использовать KLCRLHF всегда детерминированDЭти KL сравнивают разные случайные объекты и входят в теоремы с разными условиями

A) В RLHF отсутствуют вероятности

B) PAC-Bayes запрещает использовать KL

C) RLHF всегда детерминирован

D) Эти KL сравнивают разные случайные объекты и входят в теоремы с разными условиями

Ответ и разбор

Правильный ответ: D. В PAC-Bayes речь идёт о распределениях над гипотезами, а в RLHF — о распределениях действий или ответов условно на запрос.

Вопрос 13.9.1

13.9. Как оценивать систему рассуждения

Какая пара метрик разделяет покрытие генератора и качество верификатора?

Один правильный вариантAOracle pass@N и selected pass@NBAccuracy и размер словаряCPPL и температураDFLOPs и число параметров

A) Oracle pass@N и selected pass@N

B) Accuracy и размер словаря

C) PPL и температура

D) FLOPs и число параметров

Ответ и разбор

Правильный ответ: A. Разрыв между наличием правильного кандидата и его выбором показывает цену несовершенного оценивателя.

Вопрос 13.9.2

13.9. Как оценивать систему рассуждения

Почему системы рассуждения следует сравнивать при согласованном бюджете?

Один правильный вариантAВсе модели имеют одинаковую архитектуруBДополнительные токены, траектории и вызовы инструментов являются дополнительным ресурсомCТочность не зависит от вычисленийDFLOPs всегда равны задержке

A) Все модели имеют одинаковую архитектуру

B) Дополнительные токены, траектории и вызовы инструментов являются дополнительным ресурсом

C) Точность не зависит от вычислений

D) FLOPs всегда равны задержке

Ответ и разбор

Правильный ответ: B. Без учёта стоимости максимальные результаты могут относиться к разным вычислительным режимам.

Вопрос 13.10.1

13.10. Что доказано, что наблюдается и что пока служит гипотезой

Как лучше классифицировать утверждение «длина цепочки приближает вычислительную сложность задачи»?

Один правильный вариантAКак закон ШеннонаBКак исследовательскую гипотезу, требующую определения метрики и проверкиCКак доказанную универсальную теоремуDКак определение взаимной информации

A) Как закон Шеннона

B) Как исследовательскую гипотезу, требующую определения метрики и проверки

C) Как доказанную универсальную теорему

D) Как определение взаимной информации

Ответ и разбор

Правильный ответ: B. Длина зависит от модели, токенизации, подсказки и стратегии поиска.

Вопрос 13.10.2

13.10. Что доказано, что наблюдается и что пока служит гипотезой

Каков главный смысл результата Snell et al. о вычислениях во время ответа?

Один правильный вариантAВычисления на инференсе всегда заменяют предобучениеBЛюбая меньшая модель превосходит большуюCBest-of-N всегда оптималенDЭффективность дополнительного бюджета зависит от трудности задачи и способа его распределения

A) Вычисления на инференсе всегда заменяют предобучение

B) Любая меньшая модель превосходит большую

C) Best-of-N всегда оптимален

D) Эффективность дополнительного бюджета зависит от трудности задачи и способа его распределения

Ответ и разбор

Правильный ответ: D. Адаптивная стратегия может быть значительно эффективнее фиксированной, но универсальной монотонной гарантии нет.

Вопрос 13.13.1

13.13. Заключение: информация не заменяет вычисление

Какой итоговый принцип модуля наиболее точен?

Один правильный вариантAРассуждение полностью сводится к уменьшению энтропииBЛюбая длинная траектория содержит внешний фактCДополнительные токены чаще дают время, рабочую память, поиск и проверку, а не автоматически новые знанияDВысокая точность гарантирует верность видимой цепочки

A) Рассуждение полностью сводится к уменьшению энтропии

B) Любая длинная траектория содержит внешний факт

C) Дополнительные токены чаще дают время, рабочую память, поиск и проверку, а не автоматически новые знания

D) Высокая точность гарантирует верность видимой цепочки

Ответ и разбор

Правильный ответ: C. Нужно отдельно учитывать данные, вычисление, поиск, верификацию и внешние наблюдения.