Теория информации для машинного обучения3 / 16

Модуль 3. Кросс-энтропия и KL-дивергенция

Выберите ответы и нажмите «Проверить». Для чисел подходят точка, запятая и простые дроби. Ответы и черновики сохраняются в этом браузере и общие для RU/EN.

Проверено: 0 / 29 · Верно: 0

Вопрос 3.2.1

3.2. Кросс-энтропия: средний логарифмический счёт модели

Каковы роли $P$ и $Q$ в $H(P,Q)$ ?

Один правильный вариантA

P

даёт вероятности под логарифмом,

Q

— распределение, по которому берётся среднееB

P

Q

можно менять местами, ведь оба стоят под одной суммойC

P

— распределение, по которому берётся среднее,

Q

даёт вероятности под логарифмомDОба являются модельными распределениями до и после текущего шага градиента

A) $P$ даёт вероятности под логарифмом, $Q$ — распределение, по которому берётся среднее

B) $P$ и $Q$ можно менять местами, ведь оба стоят под одной суммой

C) $P$ — распределение, по которому берётся среднее, $Q$ даёт вероятности под логарифмом

D) Оба являются модельными распределениями до и после текущего шага градиента

Ответ и разбор

Правильный ответ: C. По определению H(P,Q) — это среднее величины −log q(X) по X из P. Перестановка даёт H(Q,P), то есть другое число.

Вопрос 3.2.2

3.2. Кросс-энтропия: средний логарифмический счёт модели

Что произойдёт, если для некоторого исхода $p(x)>0$ , но $q(x)=0$ ?

Один правильный вариантAСлагаемое даст ноль, потому что этот исход никогда не порождается из

Q

BИ

H(P,Q)

, и

D_{\mathrm{KL}}(P\|Q)

обратятся в бесконечностьCКросс-энтропия останется конечной, а KL станет отрицательнойDНичего не изменится: недостающая масса перераспределится при нормировке

A) Слагаемое даст ноль, потому что этот исход никогда не порождается из $P$

B) И $H(P,Q)$ , и $D_{\mathrm{KL}}(P\|Q)$ обратятся в бесконечность

C) Кросс-энтропия останется конечной, а KL станет отрицательной

D) Ничего не изменится: недостающая масса перераспределится при нормировке

Ответ и разбор

Правильный ответ: B. Модель объявила невозможным исход, возможный при P, поэтому −log q(x) бесконечно, и это слагаемое входит с положительным весом p(x). Именно поэтому на практике важны сглаживание или нижний порог на вероятности.

Вопрос 3.2.3

3.2. Кросс-энтропия: средний логарифмический счёт модели

Следует ли из one-hot метки в строке датасета, что истинное $P(Y\mid X=x)$ вырождено?

Один правильный вариантAДа, one-hot-кодирование хранит полное истинное условное распределениеBДа, иначе кросс-энтропия была бы не определенаCТолько если модель заканчивается слоем softmaxDНет: обычно это одно наблюдение из условного распределения, которое вполне может быть невырожденным

A) Да, one-hot-кодирование хранит полное истинное условное распределение

B) Да, иначе кросс-энтропия была бы не определена

C) Только если модель заканчивается слоем softmax

D) Нет: обычно это одно наблюдение из условного распределения, которое вполне может быть невырожденным

Ответ и разбор

Правильный ответ: D. One-hot-вектор фиксирует целевую метку для пообъектной функции потерь. Это свидетельство об условном законе, а не доказательство отсутствия алеаторной неопределённости и шума в разметке.

Вопрос 3.3.1

3.3. KL-дивергенция: часть потерь, за которую отвечает модель

Какое тождество верно?

Один правильный вариантA

H(P,Q)=H(P)-D_{\mathrm{KL}}(P\|Q)

H(P,Q)=H(P)+D_{\mathrm{KL}}(P\|Q)

H(P,Q)=H(Q)+D_{\mathrm{KL}}(P\|Q)

H(P,Q)=H(P)+D_{\mathrm{KL}}(Q\|P)

A) $P$

B) $H(P,Q)=H(P)+D_{\mathrm{KL}}(P\|Q)$

C) $H(P,Q)=H(Q)+D_{\mathrm{KL}}(P\|Q)$

D) $H(P,Q)=H(P)+D_{\mathrm{KL}}(Q\|P)$

Ответ и разбор

Правильный ответ: B. Кросс-энтропия раскладывается на неустранимую энтропию источника и надбавку за использование Q вместо P. Обратите внимание: энтропийный член — это H(P), а не H(Q), и KL идёт в направлении от P к Q.

Вопрос 3.3.2

3.3. KL-дивергенция: часть потерь, за которую отвечает модель

Когда $D_{\mathrm{KL}}(P\|Q)=0$ ?

Один правильный вариантAТолько когда

P=Q

почти всюдуBКогда у

P

Q

совпадают энтропииCКогда у

P

Q

совпадает самый вероятный исходDКогда у

P

Q

совпадают носители

A) Только когда $P$ почти всюду

B) Когда у $P$ и $Q$ совпадают энтропии

C) Когда у $P$ и $Q$ совпадает самый вероятный исход

D) Когда у $P$ и $Q$ совпадают носители

Ответ и разбор

Правильный ответ: A. Равные энтропии, общий argmax и общий носитель — гораздо более слабые условия. По неравенству Гиббса для любой другой пары KL строго положительна.

Вопрос 3.3.3

3.3. KL-дивергенция: часть потерь, за которую отвечает модель

Почему log-loss называют строго правильной функцией оценивания?

Один правильный вариантAПотому что она всегда неотрицательнаBПотому что она возвращает целое число битCПотому что она гарантирует верный argmax на каждом отдельном примереDПотому что её ожидание единственным образом минимизируется при сообщении истинного условного распределения

A) Потому что она всегда неотрицательна

B) Потому что она возвращает целое число бит

C) Потому что она гарантирует верный argmax на каждом отдельном примере

D) Потому что её ожидание единственным образом минимизируется при сообщении истинного условного распределения

Ответ и разбор

Правильный ответ: D. Это следует из H(P,Q) = H(P) + D_KL(P‖Q) и строгой положительности KL вне точки P. Сообщение любого другого распределения строго увеличивает ожидаемые потери.

Вопрос 3.4.2

3.4. Неверный код: как KL превращается в лишние биты

В каком смысле $D_{\mathrm{KL},2}(P\|Q)$ — это число «лишних бит»?

Один правильный вариантAЭто ожидаемая разность идеальных длин кода, когда данные из

P

кодируются под

Q

, а не под

P

BЭто ровно один лишний бит на сообщениеCЭто размер параметров модели в битахDЭто накладные расходы округления при целых длинах кодовых слов

A) Это ожидаемая разность идеальных длин кода, когда данные из $P$ кодируются под $Q$ , а не под $P$

B) Это ровно один лишний бит на сообщение

C) Это размер параметров модели в битах

D) Это накладные расходы округления при целых длинах кодовых слов

Ответ и разбор

Правильный ответ: A. KL — это член рассогласования в идеальном дробнодлинном учёте. Округление до целых длин — отдельная плата, добавляющая менее одного бита на символ в однократном префиксном коде.

Вопрос 3.5.1

3.5. Одна формула для классификации и языкового моделирования

Как раскладывается условная кросс-энтропия?

Один правильный вариантAОна равна собственной предсказательной энтропии модели, усреднённой по контекстамBОна равна маргинальной энтропии

H(Y)

независимо от контекстаC

\mathbb E_P[-\log q(Y\mid C)]=H_P(Y\mid C)+\mathbb E_C D_{\mathrm{KL}}(P(\cdot\mid C)\|Q(\cdot\mid C))

\mathbb E_P[-\log q(Y\mid C)]=H_P(Y\mid C)+D_{\mathrm{KL}}(P(C)\|Q(C))

A) Она равна собственной предсказательной энтропии модели, усреднённой по контекстам

B) Она равна маргинальной энтропии $H(Y)$ независимо от контекста

C) $P$

D) $\mathbb E_P[-\log q(Y\mid C)]=H_P(Y\mid C)+D_{\mathrm{KL}}(P(C)\|Q(C))$

Ответ и разбор

Правильный ответ: C. То же разложение, что и в безусловном случае, применённое к каждому контексту и затем усреднённое. KL берётся между условными распределениями, а усреднение — по контекстам из данных.

Вопрос 3.5.2

3.5. Одна формула для классификации и языкового моделирования

При обычном teacher forcing какие префиксы взвешивают авторегрессионное разложение KL?

Один правильный вариантAПрефиксы, порождённые моделью

Q

во время обученияBПрефиксы из распределения данных

P

CРавномерное распределение по всем строкам данной длиныDПрефиксы из смеси

P

Q

с расписанием весов

A) Префиксы, порождённые моделью $P$ во время обучения

B) Префиксы из распределения данных $P$

C) Равномерное распределение по всем строкам данной длины

D) Префиксы из смеси $P$ и $D_{\mathrm{KL}}(P\|Q)$ с расписанием весов

Ответ и разбор

Правильный ответ: B. Teacher forcing обусловливает модель на истинном префиксе, поэтому цепное правило для KL между двумя распределениями последовательностей взвешивает каждую позицию контекстами из данных.

Вопрос 3.5.3

3.5. Одна формула для классификации и языкового моделирования

Почему хорошее teacher-forced NLL не описывает полностью свободную генерацию?

Один правильный вариантAПотому что при выводе NLL отбрасывает логарифмBПотому что при сэмплировании softmax становится симметричнымCПотому что генерация использует другой словарьDПотому что при генерации модель обусловливается на собственных префиксах, распределение которых может отличаться от

P

A) Потому что при выводе NLL отбрасывает логарифм

B) Потому что при сэмплировании softmax становится симметричным

C) Потому что генерация использует другой словарь

D) Потому что при генерации модель обусловливается на собственных префиксах, распределение которых может отличаться от $P$

Ответ и разбор

Правильный ответ: D. Ранняя ошибка меняет все последующие контексты и может вывести модель за пределы области, хорошо покрытой обучающими данными. Это проблема рассогласования режимов, а не дефект функции потерь.

Вопрос 3.5.4

3.5. Одна формула для классификации и языкового моделирования

Что сама по себе гарантирует цель предсказания следующего токена?

Один правильный вариантAМинимизацию условного log-loss на распределении данных в популяционной постановкеBФактическую правильность порождаемых ответовCКорректные причинные рассуждения об описываемом миреDКалиброванный отказ отвечать, когда модель не знает

A) Минимизацию условного log-loss на распределении данных в популяционной постановке

B) Фактическую правильность порождаемых ответов

C) Корректные причинные рассуждения об описываемом мире

D) Калиброванный отказ отвечать, когда модель не знает

Ответ и разбор

Правильный ответ: A. Целевая функция говорит про log-loss и ни про что другое. Фактологичность, полезность и уместный отказ требуют дополнительных предположений, данных или целевых функций.

Вопрос 3.6.1

3.6. Почему CrossEntropyLoss так удобно оптимизировать

Чему равен градиент softmax-кросс-энтропии по логитам при мягкой цели $r$ ?

Один правильный вариантA

r-q

-\log q

q-r

q(1-q)(q-r)

A) $P$

B) $-\log q$

C) $q-r$

D) $q(1-q)(q-r)$

Ответ и разбор

Правильный ответ: C. Якобиан softmax и логарифм сокращаются, остаётся разность предсказанного и целевого распределений. Для one-hot цели это q − e_y. Знак важен: градиент функции потерь направлен от цели к предсказанию.

Вопрос 3.6.2

3.6. Почему CrossEntropyLoss так удобно оптимизировать

Какой стандартный вход torch.nn.CrossEntropyLoss позволяет обойтись без лишних преобразований выхода модели?

Один правильный вариантAВероятности, полученные явным вызовом softmaxBСырые ненормированные логитыCЛогарифмы вероятностей, полученные через log_softmaxDИндексы классов, предсказанных моделью

A) Вероятности, полученные явным вызовом softmax

B) Сырые ненормированные логиты

C) Логарифмы вероятностей, полученные через log_softmax

D) Индексы классов, предсказанных моделью

Ответ и разбор

Правильный ответ: B. Операция объединяет log_softmax и NLL в численно устойчивом вычислении. Если сначала применить softmax, вероятности будут восприняты как новые логиты, что изменит распределение и loss. Выход log_softmax математически даёт ту же CE, но дополнительная нормализация избыточна; для уже вычисленных log-probabilities предназначен NLLLoss.

Вопрос 3.7.1

3.7. Перплексия: возвращение с логарифмической шкалы

Если средний NLL измерен в натах, то

Один правильный вариантA

\operatorname{PPL}=e^{\widehat L}

\operatorname{PPL}=2^{\widehat L}

\operatorname{PPL}=\ln\widehat L

\operatorname{PPL}=\widehat L

A) $P$

B) $q-r$

C) $\operatorname{PPL}=\ln\widehat L$

D) $\operatorname{PPL}=\widehat L$

Ответ и разбор

Правильный ответ: A. Перплексия обращает логарифм в той же базе, в которой измерены потери: exp для натов и двойка в степени потерь для бит. Указание базы — часть указания самого числа.

Вопрос 3.7.2

3.7. Перплексия: возвращение с логарифмической шкалы

Какова точная эмпирическая интерпретация PPL?

Один правильный вариантAСредняя предсказательная энтропия моделиBСреднее число токенов-кандидатов, которые рассматривала модельCДоля ошибок top-1 на оценочной выборкеDСреднее геометрическое величин

1/q_i(y_i)

по наблюдаемым целям

A) Средняя предсказательная энтропия модели

B) Среднее число токенов-кандидатов, которые рассматривала модель

C) Доля ошибок top-1 на оценочной выборке

D) Среднее геометрическое величин $P$ по наблюдаемым целям

Ответ и разбор

Правильный ответ: D. Перплексия — это экспонента среднего log-loss, то есть в точности среднее геометрическое обратных вероятностей, назначенных наблюдаемым токенам. Чтение «число равновероятных кандидатов» точно только для равномерного распределения.

Вопрос 3.7.3

3.7. Перплексия: возвращение с логарифмической шкалы

Может ли у модели одновременно быть низкая предсказательная энтропия и высокая перплексия?

Один правильный вариантAНет, эти величины равны по определениюBНет, низкая энтропия ограничивает перплексию сверхуCДа, если она уверенно концентрирует массу на неверных исходахDТолько когда целевое распределение равномерно

A) Нет, эти величины равны по определению

B) Нет, низкая энтропия ограничивает перплексию сверху

C) Да, если она уверенно концентрирует массу на неверных исходах

D) Только когда целевое распределение равномерно

Ответ и разбор

Правильный ответ: C. Предсказательная энтропия измеряет концентрацию Q, а NLL и PPL — вероятность, которую Q назначил реально случившейся цели. Уверенно ошибающаяся модель плоха по второму и выглядит острой по первому.

Вопрос 3.7.4

3.7. Перплексия: возвращение с логарифмической шкалы

Почему значения PPL при разных токенизаторах нельзя сравнивать напрямую?

Один правильный вариантAПотому что токенизация не меняет правдоподобие текстаBПотому что токенизаторы разбивают один и тот же текст на разное число и разные типы событий предсказанияCПотому что перплексия не определена для подсловных словарейDПотому что больший словарь всегда повышает перплексию

A) Потому что токенизация не меняет правдоподобие текста

B) Потому что токенизаторы разбивают один и тот же текст на разное число и разные типы событий предсказания

C) Потому что перплексия не определена для подсловных словарей

D) Потому что больший словарь всегда повышает перплексию

Ответ и разбор

Правильный ответ: B. Перплексия — это среднее на событие, а сами события задаются токенизатором. Сравнивайте при одном токенизаторе и протоколе либо нормируйте на символ или байт с явными оговорками.

Вопрос 3.3.4

Факультативное математическое и справочное углубление

Что минимизирует метод максимального правдоподобия при неверно специфицированном семействе моделей?

Один правильный вариантAИстинное распределение

P

всё равно восстанавливается в пределе большой выборкиBОбратную KL

D_{\mathrm{KL}}(Q_\theta\|P)

CПрямую KL-проекцию

\arg\min_\theta D_{\mathrm{KL}}(P\|Q_\theta)

на популяционном уровнеDСимметризованную дивергенцию Йенсена—Шеннона до

P

A) Истинное распределение $P$ всё равно восстанавливается в пределе большой выборки

B) Обратную KL $P$

C) Прямую KL-проекцию $P$ на популяционном уровне

D) Симметризованную дивергенцию Йенсена—Шеннона до $P$

Ответ и разбор

Правильный ответ: C. Максимизация правдоподобия — это минимизация прямой KL с точностью до константы. Если P лежит вне семейства, оптимум является наилучшим доступным приближением в этом направлении, и именно направление определяет, какими ошибками метод готов пожертвовать.

Вопрос 3.4.1

Факультативное математическое и справочное углубление

Можно ли для любого распределения построить односимвольный двоичный префиксный код с длинами ровно $-\log_2 q(x)$ ?

Один правильный вариантAДа, всегдаBТолько если размер алфавита — степень двойкиCНет, потому что префиксные коды не представляют вероятности меньше одной второйDНет, потому что длины кодовых слов целые; точно это работает лишь для двоично-рациональных вероятностей

A) Да, всегда

B) Только если размер алфавита — степень двойки

C) Нет, потому что префиксные коды не представляют вероятности меньше одной второй

D) Нет, потому что длины кодовых слов целые; точно это работает лишь для двоично-рациональных вероятностей

Ответ и разбор

Правильный ответ: D. В общем случае оптимальная средняя длина лежит между H(Q) и H(Q)+1. Блочное или арифметическое кодирование размазывает этот один бит округления по многим символам.

Вопрос 3.6.3

Факультативное математическое и справочное углубление

Что делает label smoothing?

Один правильный вариантAЗаменяет one-hot цель смесью этой цели и сглаживающего распределения, меняя тем самым целевую функциюBТолько ускоряет вычисления, не меняя функцию потерьCУбирает член KL из кросс-энтропииDМасштабирует логиты перед softmax

A) Заменяет one-hot цель смесью этой цели и сглаживающего распределения, меняя тем самым целевую функцию

B) Только ускоряет вычисления, не меняя функцию потерь

C) Убирает член KL из кросс-энтропии

D) Масштабирует логиты перед softmax

Ответ и разбор

Правильный ответ: A. Обучающая функция потерь становится кросс-энтропией к сглаженной цели. Это может быть полезной регуляризацией, но это уже не обычный NLL по исходным меткам.

Вопрос 3.6.4

Факультативное математическое и справочное углубление

Можно ли взвешенную или сглаженную обучающую функцию потерь возвести в экспоненту и без оговорок назвать токенной перплексией?

Один правильный вариантAДа, любая положительная функция потерь экспонируется в перплексиюBДа, если те же веса используются и при оцениванииCНет, стандартная PPL строится из обычного среднего NLL по наблюдаемым немаскированным целямDНет, потому что перплексия требует логарифма по основанию 2

A) Да, любая положительная функция потерь экспонируется в перплексию

B) Да, если те же веса используются и при оценивании

C) Нет, стандартная PPL строится из обычного среднего NLL по наблюдаемым немаскированным целям

D) Нет, потому что перплексия требует логарифма по основанию 2

Ответ и разбор

Правильный ответ: C. Взвешивание, сглаживание, маскирование и режим редукции задают другую усреднённую целевую функцию. Её экспонента даёт число, несопоставимое с публикуемыми перплексиями.

Вопрос 3.8.1

Факультативное математическое и справочное углубление

Когда разница между прямой и обратной KL становится особенно заметной?

Один правильный вариантAТолько когда

P=Q

BКогда семейство моделей не может точно представить целевое распределениеCТолько для распределений БернуллиDВсегда, когда цель мультимодальна, независимо от семейства

A) Только когда $P$

B) Когда семейство моделей не может точно представить целевое распределение

C) Только для распределений Бернулли

D) Всегда, когда цель мультимодальна, независимо от семейства

Ответ и разбор

Правильный ответ: B. Если семейство содержит P, у обоих направлений один и тот же глобальный оптимум. Направления расходятся там, где приближение вынуждено идти на компромисс, и именно о форме этого компромисса они спорят.

Вопрос 3.8.2

Факультативное математическое и справочное углубление

Какое утверждение верно для канонического примера с бимодальной смесью, приближаемой одной гауссианой?

Один правильный вариантAОба направления дают одну и ту же гауссиануBУ обратной KL гарантированно ровно один локальный минимумCПрямая KL выбирает одну моду, а обратная покрывает обеDПрямая KL даёт широкую гауссиану с согласованием моментов, а у обратной минимумы находятся вблизи отдельных мод; это иллюстрация, а не универсальная теорема

A) Оба направления дают одну и ту же гауссиану

B) У обратной KL гарантированно ровно один локальный минимум

C) Прямая KL выбирает одну моду, а обратная покрывает обе

D) Прямая KL даёт широкую гауссиану с согласованием моментов, а у обратной минимумы находятся вблизи отдельных мод; это иллюстрация, а не универсальная теорема

Ответ и разбор

Правильный ответ: D. Обратите внимание на направление эффекта — его легко запомнить наоборот. В этом же примере у обратной KL есть и более широкий центральный локальный минимум, так что даже здесь «поиск моды» — тенденция, а не правило.

Вопрос 3.8.3

Факультативное математическое и справочное углубление

Является ли posterior collapse в VAE просто другим названием для выбора одной моды обратной KL?

Один правильный вариантAНет: коллапс обычно означает, что приближённое апостериорное распределение скатывается к априорному и перестаёт нести информацию об

x

BДа, это одно и то же явлениеCТолько для дискретных латентных переменныхDТолько когда декодер детерминирован

A) Нет: коллапс обычно означает, что приближённое апостериорное распределение скатывается к априорному и перестаёт нести информацию об $P$

B) Да, это одно и то же явление

C) Только для дискретных латентных переменных

D) Только когда декодер детерминирован

Ответ и разбор

Правильный ответ: A. Оба явления относятся к вариационному выводу, но это разные отказы. Недопокрытие мод — про форму приближения, коллапс — про то, что латентная переменная становится неинформативной.

Вопрос 3.9.1

Факультативное математическое и справочное углубление

Какое описание DPO наиболее точно?

Один правильный вариантAЭто обычное максимальное правдоподобие следующего токена, применённое к данным о предпочтенияхBЭто другое название PPO с тем же циклом обученияCОн выведен из KL-регуляризованной постановки, но обучается функцией потерь классификации предпочтений, без вычисления KL-штрафа на каждом батчеDОн добавляет явный KL-штраф в функцию потерь каждого мини-батча

A) Это обычное максимальное правдоподобие следующего токена, применённое к данным о предпочтениях

B) Это другое название PPO с тем же циклом обучения

C) Он выведен из KL-регуляризованной постановки, но обучается функцией потерь классификации предпочтений, без вычисления KL-штрафа на каждом батче

D) Он добавляет явный KL-штраф в функцию потерь каждого мини-батча

Ответ и разбор

Правильный ответ: C. KL входит через ту оптимизационную задачу, из которой метод выведен, и через замкнутую связь оптимальной политики с наградой, а не как член, вычисляемый при обучении.

Вопрос 3.C.1

Вычислительный блок

Пусть

P=(0.5,\ 0.25,\ 0.25), \qquad Q=(0.7,\ 0.2,\ 0.1).

Вычислите кросс-энтропию $H(P,Q)$ в битах с точностью до трёх знаков после запятой. (допуск 0.002)

ОтветАбсолютный допуск: ±0.002

Ответ и разбор

Числовой ответ: 1.668 (допуск 0.002). H(P,Q) — это сумма p(x) на −log2 q(x), она равна 1.668. Поскольку H(P) = 1.5 бита ровно, рассогласование модели стоит D_KL(P‖Q) = 0.168 бита сверх неустранимой энтропии.

Вопрос 3.C.2

Вычислительный блок

Для тех же $P$ и $Q$ вычислите $D_{\mathrm{KL}}(Q\|P)$ в битах с точностью до трёх знаков после запятой. (допуск 0.002)

ОтветАбсолютный допуск: ±0.002

Ответ и разбор

Числовой ответ: 0.143 (допуск 0.002). Обратное направление даёт 0.143, а прямое — 0.168. Оба числа описывают одну и ту же пару распределений и не взаимозаменяемы; ничто не заставляет их быть близкими.

Вопрос 3.C.3

Вычислительный блок

Модель назначила вероятности $0.5$ , $0.25$ , $0.125$ и $0.5$ четырём фактическим токенам. Вычислите перплексию с точностью до трёх знаков после запятой. (допуск 0.005)

ОтветАбсолютный допуск: ±0.005

Ответ и разбор

Числовой ответ: 3.364 (допуск 0.005). Средний NLL равен (1 + 2 + 3 + 1)/4 = 1.75 бита, а двойка в степени 1.75 равна 3.364. То же число является средним геометрическим величин 1/0.5, 1/0.25, 1/0.125 и 1/0.5 — это и есть точный смысл перплексии.

Вопрос 3.C.4

Вычислительный блок

Логиты $z=(2,1,0)$ подаются в softmax, целевой класс — первый. Вычислите градиент кросс-энтропии по логиту этого класса с точностью до трёх знаков после запятой. (допуск 0.002)

ОтветАбсолютный допуск: ±0.002

Ответ и разбор

Числовой ответ: -0.335 (допуск 0.002). Softmax даёт примерно (0.665, 0.245, 0.090), градиент равен q − e_y, поэтому первая компонента есть 0.665 − 1 = −0.335. Он отрицателен, то есть градиентный спуск повышает логит целевого класса.