Модуль 5. Взаимная информация: сколько один объект говорит о другом

Как читать этот модуль. Основной маршрут — §§5.1–5.12. Мы начнём с привычного для ML вопроса о качестве вероятностного предсказания, затем перейдём к условной взаимной информации, представлениям, шумным меткам, InfoNCE и оцениванию MI по конечной выборке. Усиленное неравенство обработки данных в §5.5 и неравенство Фано в упражнениях — математические углубления для второго прохода.

5.1. Признак полезен не сам по себе

Пусть целевая переменная $Y$ — честный бит. До того как модель увидела признаки, её лучший вероятностный прогноз прост:

$$q(y)=\frac12.$$

Средняя логарифмическая потеря такого прогноза равна одному биту:

$$\mathbb E[-\log_2 q(Y)]=1.$$

Теперь появляется признак $X$, который совпадает с $Y$ с вероятностью $0.9$ и инвертирован с вероятностью $0.1$. Оптимальный предиктор уже не обязан отвечать $50/50$: увидев $X$, он назначает соответствующему значению $Y$ вероятность $0.9$. Его средняя потеря становится

$$h_2(0.1) = -0.1\log_2 0.1-0.9\log_2 0.9 \approx0.469$$

бита. Признак сэкономил

$$1-h_2(0.1) \approx0.531$$

бита логарифмической потери (log-loss) на одно наблюдение.

Это и есть взаимная информация:

$$\boxed{ I(X;Y)=H(Y)-H(Y\mid X) }.$$

Взаимная информация — это ожидаемый выигрыш в оптимальной логарифмической потере, который даёт знание одной переменной при предсказании другой.

Эта формулировка сразу связывает классическую теорию информации с ML. Взаимная информация отвечает не на расплывчатый вопрос «хороший ли это признак вообще?», а на точный вопрос:

насколько признак уменьшает неизбежную неопределённость целевой переменной при идеальном вероятностном предсказании на данном распределении?

Слово «идеальном» здесь существенно. Реальная модель конечной мощности может не извлечь всю доступную информацию; конечная выборка может не позволить её надёжно оценить; распределение на проде может отличаться от обучающего. MI описывает связь случайных величин на уровне распределения, а не автоматически качество конкретного обученного классификатора.

В ML этот вопрос возникает постоянно:

• насколько признак полезен для целевой переменной;
• что новый признак добавляет сверх уже выбранных;
• сколько информации о метке сохранил энкодер;
• связаны ли изображение и подпись сильнее, чем случайная пара;
• не попала ли целевая переменная в признаки через утечку данных;
• какую часть общего содержания сохраняют две аугментации одного объекта.

Корреляция — естественный первый кандидат, но она видит прежде всего линейную связь. Возьмём

$$X\sim\operatorname{Unif}\{-2,-1,1,2\}, \qquad Y=X^2.$$

Из симметрии $\operatorname{Cov}(X,Y)=0$. Однако $Y$ полностью определяется по $X$ и принимает два равновероятных значения, поэтому

$$I(X;Y)=H(Y)=1\ \text{бит}.$$

Нулевая корреляция здесь означает отсутствие линейного тренда, а не отсутствие зависимости.

Если не сказано обратное, дискретные примеры используют логарифм по основанию 2 и измеряются в битах. В функциях потерь ML обычно берут натуральный логарифм; тогда те же величины измеряются в натах.

5.2. Одна величина — три чтения

У взаимной информации несколько эквивалентных форм. Каждая отвечает на свой вопрос, и полезнее не выбирать «главную», а научиться переходить между ними.

Выигрыш в предсказании

Представим, что мы предсказываем дискретную $Y$ по логарифмической потере. Без доступа к $X$ лучший на уровне распределения прогноз — маргинальное распределение $P_Y$, а минимальная ожидаемая потеря равна

$$H(Y).$$

С доступом к $X=x$ лучший прогноз — $P_{Y\mid X=x}$, а средняя минимальная потеря равна

$$H(Y\mid X).$$

Поэтому

$$\boxed{ I(X;Y)=H(Y)-H(Y\mid X) }.$$

Ту же формулу можно прочитать в обратную сторону:

$$I(X;Y)=H(X)-H(X\mid Y).$$

Именно поэтому MI симметрична. Предсказательные задачи «угадывать $Y$ по $X$» и «угадывать $X$ по $Y$» различаются, но среднее сокращение логарифмической неопределённости оказывается одним и тем же.

Расстояние от мира независимости

Наиболее общая формулировка — через KL-дивергенцию:

$$\boxed{ I(X;Y) = D_{\mathrm{KL}} \bigl(P_{XY}\,\|\,P_X\otimes P_Y\bigr) }.$$

$P_X\otimes P_Y$ — совместное распределение, которое получилось бы, если бы связь между переменными была разорвана, а маргинальные распределения остались прежними. Поэтому MI измеряет среднюю цену подмены реального совместного мира независимой моделью.

Для дискретных переменных

$$I(X;Y) = \sum_{x,y}p(x,y) \log\frac{p(x,y)}{p(x)p(y)}.$$

Из свойств KL сразу следуют

$$I(X;Y)\ge0$$

и

$$I(X;Y)=0 \quad\Longleftrightarrow\quad X\perp Y.$$

Это отличие от корреляции принципиально: нулевая MI означает полную статистическую независимость, а не только исчезновение одного момента.

Перекрытие неопределённостей

По цепному правилу

$$\boxed{ I(X;Y)=H(X)+H(Y)-H(X,Y) }.$$

Для дискретных величин отсюда следуют границы

$$0\le I(X;Y)\le\min\{H(X),H(Y)\}.$$

Если $Y=g(X)$ — дискретная детерминированная функция, то

$$I(X;Y)=H(Y).$$

Это не обязано равняться $H(X)$: необратимое отображение может забыть часть различий между значениями $X$. При взаимно однозначном преобразовании сохраняется вся энтропия:

$$I(X;Y)=H(X)=H(Y).$$

Диаграмма с пересекающимися областями — хороший мнемонический якорь для двух дискретных переменных. Но это не буквальная евклидова геометрия. Для трёх и более переменных появляются избыточность, синергия и взаимодействующая информация; простая картинка с кругами быстро перестаёт быть надёжной картой.

Где заканчиваются безопасные формулы. KL-определение остаётся базовым и для непрерывных величин. Записи через разности дифференциальных энтропий требуют, чтобы соответствующие величины были корректно определены и не возникало неопределённостей вида $\infty-\infty$. Кроме того, для непрерывной неатомарной величины $I(X;X)$ обычно бесконечна. А термин собственная информация (self-information) обычно означает неожиданность отдельного исхода $-\log p(x)$, а не энтропию распределения.

5.3. PMI: локальный логарифм связи

MI усредняет зависимость по всем парам. Для конкретной пары исходов используется поточечная взаимная информация (pointwise mutual information, PMI):

$$\operatorname{pmi}(x;y) = \log\frac{p(x,y)}{p(x)p(y)} = \log\frac{p(y\mid x)}{p(y)}.$$

Это логарифм коэффициента, показывающего, во сколько раз наблюдение $x$ изменило вероятность $y$ относительно базовой частоты.

Например, пусть

$$p(x)=0.01, \qquad p(y)=0.02, \qquad p(x,y)=0.001.$$

При независимости совместная вероятность была бы $0.0002$. Реальная пара встречается в пять раз чаще, поэтому

$$\operatorname{pmi}(x;y)=\log_2 5\approx2.32\ \text{бита}.$$

Знак PMI имеет прямое чтение:

• $\operatorname{pmi}(x;y)>0$: пара встречается чаще независимого ожидания;
• $\operatorname{pmi}(x;y)=0$: конкретная пара согласуется с независимостью;
• $\operatorname{pmi}(x;y)<0$: пара встречается реже независимого ожидания.

В отличие от MI, отдельная PMI может быть отрицательной. Взаимная информация — её среднее по реальному совместному распределению:

$$I(X;Y)= \mathbb E_{(X,Y)\sim P_{XY}} [\operatorname{pmi}(X;Y)].$$

В NLP PMI и её варианты используются для оценки ассоциации слова и контекста. Здесь же возникает типичная ловушка: редкая пара с одним-двумя наблюдениями может получить огромное значение из-за малого знаменателя. Поэтому практический анализ почти всегда требует порога по частоте, сглаживания, перестановочного контроля или другой проверки устойчивости. Большой логарифм ещё не означает надёжное свидетельство.

5.4. Условная MI: что новый признак добавляет сверх известных

Маргинальная $I(X;Y)$ отвечает на вопрос, полезен ли $X$ сам по себе. В модели с десятками признаков этого мало. Нужно понять, приносит ли $X$ что-то новое после того, как уже известна переменная $Z$.

Определим условную взаимную информацию:

$$\boxed{ I(X;Y\mid Z) = \mathbb E_Z D_{\mathrm{KL}} \bigl( P_{XY\mid Z} \,\|\, P_{X\mid Z}P_{Y\mid Z} \bigr) }.$$

Для дискретных переменных

$$\boxed{ I(X;Y\mid Z) = H(Y\mid Z)-H(Y\mid X,Z) }.$$

Это ожидаемая экономия в оптимальной логарифмической потере от добавления $X$ к уже известному $Z$.

Цепное правило имеет вид

$$\boxed{ I(X;Y,Z) = I(X;Y)+I(X;Z\mid Y) }.$$

В отборе признаков эта формула объясняет два противоположных эффекта.

Избыточность

Новый признак может иметь высокую $I(X_i;Y)$, но почти нулевую

$$I(X_i;Y\mid X_S),$$

потому что он повторяет уже выбранные признаки. Например, температура в градусах Цельсия и Фаренгейта по отдельности одинаково информативны о некоторой погодной метке, но второй признак почти ничего не добавляет после первого.

Синергия

Информация может появляться только в комбинации. Пусть $X_1,X_2$ — независимые честные биты, а

$$Y=X_1\oplus X_2.$$

Тогда

$$I(X_1;Y)=I(X_2;Y)=0,$$

но

$$I((X_1,X_2);Y)=1\ \text{бит}.$$

Более того,

$$I(X_1;Y\mid X_2)=1\ \text{бит}.$$

До знания $X_2$ первый бит бесполезен; после знания $X_2$ он полностью определяет метку. Это чистый пример взаимодействия, которое деревья, нейросети и признаки-пересечения способны использовать, а одномерный фильтр по $I(X_i;Y)$ — нет.

Условная MI даёт правильный язык для добавочной ценности, но не бесплатный алгоритм. В высокой размерности её оценивание ещё сложнее, чем оценивание маргинальной MI. Поэтому реальные методы часто используют приближения, жадные критерии или непосредственно проверяют улучшение целевой метрики на отложенных данных.

5.5. DPI: энкодер может перепаковать информацию, но не напечатать новые биты

Пусть

$$Y\to X\to T$$

— марковская цепь: представление $T$ строится из входа $X$ и не получает целевую переменную $Y$ по другому пути. Тогда

$$\boxed{ I(Y;T)\le I(Y;X) }.$$

Это неравенство обработки данных (Data Processing Inequality, DPI).

Фиксированная обработка может сохранить, отбросить или переупаковать информацию о метке, но не создать ту информацию, которой не было во входе.

Короткое доказательство показывает, откуда берётся потеря. По цепному правилу

$$I(Y;X,T) = I(Y;X)+I(Y;T\mid X)$$

и одновременно

$$I(Y;X,T) = I(Y;T)+I(Y;X\mid T).$$

Из марковости $I(Y;T\mid X)=0$. Поэтому

$$I(Y;X) = I(Y;T)+I(Y;X\mid T) \ge I(Y;T).$$

Остаток

$$I(Y;X\mid T)$$

имеет содержательное значение: это информация о $Y$, которая ещё была во входе $X$, но уже недоступна после перехода к $T$.

Почему после энкодера классифицировать бывает легче

На первый взгляд DPI спорит с опытом deep learning: хороший энкодер повышает качество линейного пробника, иногда радикально. Противоречия нет. DPI ограничивает количество информации на уровне распределения, но не её доступность конкретному классу моделей.

Энкодер может:

• сделать релевантную информацию линейно доступной;
• удалить нерелевантные факторы, мешающие обучению на конечной выборке;
• сформировать полезные инвариантности;
• улучшить обусловленность и геометрию задачи;
• внести индуктивное смещение, усвоенное при предобучении.

Информация могла присутствовать во входе, но быть представлена в форме, которую простой считывающий слой не умеет извлечь. Нейросеть не обязана увеличивать $I(Y;T)$, чтобы увеличить точность ограниченного считывающего слоя.

Где в вероятностной схеме находятся обученные веса

DPI относится к фиксированному каналу $X\mapsto T$. Предобученная модель приносит информацию из обучающего набора в параметрах. Если параметры $\Theta$ считаются случайными, корректная схема должна включать их явно, например

$$Y\to (X,\Theta)\to T.$$

После фиксации весов для нового примера действует обычная DPI относительно выбранного совместного распределения. Поэтому лозунг «сеть ничего не знает сверх текущего входа» слишком груб: она не создаёт информацию из пустоты, но использует знание, закодированное в параметрах.

Достаточное для задачи представление

Если $T=f(X)$ и

$$Y\perp X\mid T,$$

то $T$ сохраняет всю информацию о $Y$, доступную во входе:

$$I(Y;T)=I(Y;X).$$

Такое представление называют достаточным для задачи. Оно может отбросить цвет фона, идентификатор камеры или точную текстуру, если эти детали не помогают предсказывать целевую переменную.

Здесь важно развести две цели:

• сохранить $I(Y;T)$ близкой к $I(Y;X)$;
• при необходимости уменьшить $I(X;T)$, не перенося в представление все детали входа.

Этот компромисс лежит в основе информационного бутылочного горлышка (Information Bottleneck):

$$\max_{P_{T\mid X}} \bigl[I(T;Y)-\beta I(X;T)\bigr].$$

В M9 мы разберём, когда эта постановка полезна и почему её нельзя автоматически считать описанием динамики любой детерминированной нейросети.

Математическое углубление: усиленное DPI

Этот подраздел можно пропустить при первом чтении.

Обычная DPI говорит только, что информация не растёт. Для некоторых шумных каналов можно получить количественную контракцию:

$$I(U;Z)\le\eta I(U;X), \qquad U\to X\to Z, \qquad 0\le\eta<1.$$

Тогда каскад каналов даёт геометрическую верхнюю границу. Для двоичного симметричного канала с вероятностью инверсии $\varepsilon\in[0,1/2]$ глобальный коэффициент KL-контракции равен

$$\eta=(1-2\varepsilon)^2.$$

Это сильный результат о конкретном стохастическом канале. Но он не превращается автоматически в теорему о том, что информация в любой глубокой детерминированной сети обязана экспоненциально исчезать, а residual-связь обязана иметь коэффициент контракции ровно единица. Для такого переноса нужно сначала определить случайные величины, канал и область супремума. SDPI — точный инструмент, а не универсальная архитектурная метафора.

5.6. MI, корреляция и причинность отвечают на разные вопросы

MI и корреляция

Корреляция Пирсона измеряет нормированную линейную ковариацию. MI проверяет, отличается ли всё совместное распределение от произведения маргиналов.

Поэтому

$$I(X;Y)=0 \quad\Longleftrightarrow\quad X\perp Y,$$

но

$$\operatorname{Corr}(X,Y)=0$$

не гарантирует независимость.

Для совместно гауссовской пары связь особенно проста:

$$I(X;Y) = -\frac12\log(1-\rho^2).$$

При натуральном логарифме результат измеряется в натах, при $\log_2$ — в битах. Это формула для совместно гауссовского распределения, а не универсальный перевод корреляции в MI. За пределами гауссовского семейства одно значение $\rho$ не определяет всю зависимость.

MI и причинность

Большая $I(X;Y)$ говорит, что переменные статистически связаны. Она не сообщает, почему именно:

• $X$ может влиять на $Y$;
• $Y$ может влиять на $X$;
• обе переменные могут зависеть от общего фактора $Z$;
• связь может возникнуть из-за отбора наблюдений;
• признак может содержать утечку из будущего или из этапа предобработки.

Высокая MI может сделать признак отличным предиктором и одновременно плохой переменной для вмешательства. Взаимная информация измеряет зависимость, а причинный эффект требует интервенционной или каузальной постановки.

5.7. Шумные метки: когда 100% ошибок всё ещё несут один бит

Рассмотрим двоичный симметричный канал (binary symmetric channel, BSC):

$$\widetilde Y=Y\oplus E, \qquad E\sim\operatorname{Bern}(\varepsilon),$$

где $Y$ — честный бит, а $\widetilde Y$ — наблюдаемая метка.

При равномерном входе наблюдаемая метка тоже равномерна, а

$$H(\widetilde Y\mid Y)=h_2(\varepsilon).$$

Следовательно,

$$\boxed{ I(Y;\widetilde Y)=1-h_2(\varepsilon) }.$$

Кривая содержит три режима:

• $\varepsilon=0$: метка передаётся без ошибок, MI равна одному биту;
• $\varepsilon=1/2$: наблюдаемая метка независима от истинной, MI равна нулю;
• $\varepsilon=1$: метка всегда неправильна, но инверсия детерминирована и обратима, поэтому MI снова равна одному биту.

Последняя точка особенно полезна. Взаимная информация измеряет предсказуемую связь, а не семантическую правильность символа. Если известно, что разметчик всегда меняет 0 на 1 и 1 на 0, его ответы легко исправить. Гораздо хуже разметчик, который в половине случаев подбрасывает монету.

Для BSC равномерное входное распределение достигает пропускной способности:

$$C=1-h_2(\varepsilon)$$

бит на использование канала. В ML эта модель служит чистым базовым случаем симметричного шума меток. Реальные ошибки часто зависят от класса, сложности примера, разметчика и скрытого контекста; тогда одной $\varepsilon$ недостаточно.

5.8. Отбор признаков: полезный фильтр, но не оракул

Простейший фильтр ранжирует признаки по

$$I(X_i;Y).$$

В сравнении с корреляцией это серьёзное расширение: можно обнаружить нелинейную зависимость. Но универсальность меры не делает процедуру универсально надёжной.

mRMR-подобные критерии пытаются совместить релевантность и штраф за избыточность. Это разумная эвристика, но не точное решение общей многомерной задачи: попарные штрафы не обязаны замечать синергию высокого порядка.

Практический минимальный протокол:

1. определить случайные величины и единицу наблюдения;
2. считать оцениватель и его гиперпараметры частью обучающего конвейера;
3. выполнять отбор только на обучающей части каждого разбиения;
4. сравнивать оценки с перестановочной базовой линией;
5. повторять оценивание для нескольких начальных состояний генератора (seeds) и размеров выборки;
6. принимать решение по качеству на отложенных данных, а не по одному числу MI.

MI здесь полезна как фильтр и диагностический сигнал. Она не заменяет валидацию модели и не доказывает причинную полезность признака.

5.9. InfoNCE: найти согласованную пару среди случайных

Пусть $(X,Y)$ — согласованная пара: две аугментации одного объекта, изображение и подпись, аудиофрагмент и его контекст. Для якоря $x$ берётся один положительный кандидат

$$y_1\sim p(y\mid x)$$

и $N-1$ отрицательных кандидатов

$$y_2,\ldots,y_N\overset{\mathrm{iid}}\sim p(y).$$

Модель получает $N$ вариантов и должна определить, какой из них образует реальную пару с $x$. Для функции совместимости $s_\theta(x,y)$ потеря InfoNCE равна

$$\mathcal L_{\mathrm{NCE}} = -\mathbb E \left[ \log \frac{\exp s_\theta(x,y_1)} {\sum_{j=1}^{N}\exp s_\theta(x,y_j)} \right].$$

Это обычная $N$-классовая кросс-энтропия. Но классы здесь необычны: «правильный класс» — позиция кандидата, пришедшего из условного распределения, а остальные пришли из маргинального.

При этой стандартной схеме выборки выполняется

$$\boxed{ I(X;Y) \ge \log N-\mathcal L_{\mathrm{NCE}} }.$$

Основание логарифма должно совпадать с функцией потерь. В большинстве реализаций используется натуральный логарифм, поэтому граница измеряется в натах.

Почему классификация связана с MI

Оптимальный критик имеет вид

$$s^*(x,y) = \log\frac{p(y\mid x)}{p(y)}+c(x),$$

где добавка $c(x)$ сокращается внутри softmax. То есть классификатор учится оценивать логарифм отношения:

насколько кандидат $y$ вероятнее рядом с данным $x$, чем в среднем по набору данных?

Это та же локальная величина, которая появилась в PMI. Контрастивная классификация учит представление различать совместное распределение и произведение маргиналов.

Положительный результат достаточно силён: уменьшение ожидаемой InfoNCE-потери повышает соответствующую нижнюю границу на MI. Но точная область действия границы определяется схемой выборки кандидатов.

Где заканчивается точное утверждение

• $\log N$ — потолок этой конкретной нижней границы, а не потолок истинной MI или качества представления;
• значение InfoNCE-потери не является точной оценкой MI;
• больше отрицательных примеров не гарантирует лучшую целевую метрику;
• кандидаты из одного батча могут быть зависимы и не совпадать с независимыми выборками из $p(y)$;
• ложные отрицательные пары могут отталкивать семантически близкие объекты;
• температура, аугментации, состав батча и класс критика меняют обучающую задачу.

SimCLR и CLIP используют контрастивные классификационные цели этого семейства. Для CLIP задача симметризована: изображение ищет соответствующий текст, а текст — изображение. Корректная формулировка состоит в том, что такая цель связана с MI через контрастивную границу при соответствующей вероятностной схеме. Фраза «CLIP буквально измеряет истинную MI между изображением и текстом» была бы сильнее математики.

Не всё обучение без разметки является InfoNCE. BYOL, SimSiam и DINO используют другие механизмы предотвращения коллапса и не сводятся к стандартной классификации одного положительного примера среди независимых отрицательных.

5.10. Почему число MI трудно получить из выборки

Формула взаимной информации короткая. Её надёжная оценка по конечным данным — нет.

Дискретный подстановочный оцениватель

Для конечных алфавитов можно подставить эмпирические частоты:

$$\widehat I = \sum_{x,y}\widehat p(x,y) \log\frac{\widehat p(x,y)} {\widehat p(x)\widehat p(y)}.$$

Когда таблица сопряжённости мала и хорошо заполнена, метод прозрачен. При большом числе ячеек она становится разреженной: случайные единичные наблюдения выглядят как структура, а нулевые счётчики заставляют вводить сглаживание.

Дискретизация непрерывных величин

Разбиение на интервалы превращает непрерывные данные в дискретные. Результат зависит от числа и границ интервалов, выбросов, размера выборки и размерности. Слишком грубая сетка стирает зависимость; слишком мелкая начинает запоминать шум выборки.

Оцениватели на основе ближайших соседей

KSG-подобные методы выбирают локальный масштаб по расстояниям до $k$ ближайших соседей. В низкой размерности они часто полезнее фиксированного binning, но чувствительны к метрике, размерности, совпадающим значениям и предобработке. Выбор $k$ снова задаёт компромисс смещения и дисперсии.

Нейросетевые вариационные границы

MINE и родственные методы обучают критик для вариационной нижней границы на

$$D_{\mathrm{KL}}(P_{XY}\|P_XP_Y).$$

Это превращает MI в дифференцируемую целевую функцию, но не отменяет статистическую трудность. Критик может переобучиться, а оценка и её градиент могут иметь большое смещение или дисперсию. Для нижних границ существует фундаментальное ограничение: без предположений о распределении высокодоверительная нижняя граница, построенная по $N$ наблюдениям, в общем случае не может надёжно расти существенно быстрее порядка $\log N$.

Важно различать два утверждения:

• нейросеть способна вывести произвольное большое число;
• это число является гарантированной нижней границей истинной MI на генеральном распределении.

Первое возможно. Второе требует теоремы, условий и контроля обобщения.

Протокол, который делает число осмысленным

Перед публикацией «MI = 3.7 бита» стоит ответить:

1. Какие случайные величины и какое распределение генеральной совокупности определены?
2. Дискретны переменные или непрерывны?
3. Какой оцениватель используется и какие у него предпосылки?
4. На тех же данных обучался оцениватель и сообщается результат или есть отложенная проверка?
5. Как выглядит перестановочная базовая линия?
6. Стабильно ли число при изменении размера выборки, начального состояния генератора и гиперпараметров?

В обучении представлений MI часто полезнее как принцип построения цели или сравнительный диагностический сигнал, чем как абсолютный измерительный прибор.

5.11. Энтропия attention — не взаимная информация

Веса внимания после softmax образуют распределение по ключам:

$$\alpha_{ij}\ge0, \qquad \sum_j\alpha_{ij}=1.$$

Поэтому для запроса $i$ можно вычислить

$$H(\alpha_{i,\cdot}).$$

Эта величина точно описывает концентрацию весов:

• низкая энтропия — масса сосредоточена на нескольких позициях;
• высокая энтропия — масса распределена шире.

Но MI требует совместного распределения двух случайных величин. Одна строка attention-весов сама по себе такого объекта не задаёт. Кроме того, выход слоя зависит не только от $\alpha_{ij}$, но и от векторов значений, остаточного потока, последующих слоёв и нелинейностей.

Поэтому энтропия attention может быть полезной описательной статистикой маршрутизации, но из неё не следуют автоматически:

• количество информации, переданной между токенами;
• причинное влияние позиции на ответ;
• полнота объяснения решения модели;
• превосходство более резкого или более диффузного внимания.

Здесь не нужно отказываться от информационного языка. Нужно сначала задать случайные величины, канал и совместное распределение, а уже затем вычислять MI. В M7 мы сделаем это для настоящих каналов связи; к attention будем возвращаться как к механизму, для которого каналовая интерпретация требует отдельной модели.

5.12. Ключевые выводы модуля

Взаимная информация объединяет несколько задач, которые в ML часто обсуждают разными словами:

• зависимость: насколько совместное распределение отличается от независимой модели;
• предсказательная ценность: сколько оптимальной логарифмической потери экономит признак;
• добавочная ценность: что новый признак сообщает сверх уже известных;
• представления: какую информацию о целевой переменной сохранил энкодер;
• контрастивное обучение: насколько хорошо можно найти согласованную пару среди случайных;
• пределы обработки: что нельзя восстановить после необратимого преобразования.

Главная формула модуля теперь читается не как абстрактная разность энтропий:

$$I(X;Y)=H(Y)-H(Y\mid X).$$

Она говорит:

до наблюдения $X$ мы платили $H(Y)$ бит оптимальной логарифмической потери; после наблюдения — $H(Y\mid X)$; разница и есть ценность информации $X$ о $Y$.

Но для практической работы нужно держать раздельно три объекта:

$$\boxed{ \text{истинная MI} \quad\ne\quad \text{её оценка по конечной выборке} \quad\ne\quad \text{обучающая прокси-цель} }.$$

InfoNCE может быть хорошей целью, даже если не даёт точного измерения MI. Высокая оценка MI может быть артефактом переобученного критика. Признак с высокой MI может оказаться утечкой. А представление может улучшить линейный считывающий слой, не нарушая DPI и не увеличивая истинную информацию о метке.

Это не набор исключений из красивой теории. Это и есть зрелое использование теории: сначала понять точный положительный результат, затем проверить, какой объект вычисляет конкретный код.

5.14. Источники и дальнейшее чтение

1. C. E. Shannon, A Mathematical Theory of Communication, 1948.
2. T. M. Cover, J. A. Thomas, Elements of Information Theory, 2nd ed., 2006.
3. A. van den Oord, Y. Li, O. Vinyals, Representation Learning with Contrastive Predictive Coding, 2018.
4. B. Poole et al., On Variational Bounds of Mutual Information, 2019.
5. M. I. Belghazi et al., MINE: Mutual Information Neural Estimation, 2018.
6. D. McAllester, K. Stratos, Formal Limitations on the Measurement of Mutual Information, 2020.
7. A. Kraskov, H. Stögbauer, P. Grassberger, Estimating Mutual Information, 2004.
8. N. Tishby, F. C. Pereira, W. Bialek, The Information Bottleneck Method, 2000.
9. Y. Polyanskiy, Y. Wu, Strong Data-Processing Inequalities for Channels and Bayesian Networks, 2017.
10. T. Chen et al., A Simple Framework for Contrastive Learning of Visual Representations, 2020.
11. A. Radford et al., Learning Transferable Visual Models From Natural Language Supervision, 2021.
12. M. Caron et al., Emerging Properties in Self-Supervised Vision Transformers, 2021.
13. J.-B. Grill et al., Bootstrap Your Own Latent: A New Approach to Self-Supervised Learning, 2020.
14. X. Chen, K. He, Exploring Simple Siamese Representation Learning, 2020.

---

В Модуле 6 мы перейдём от зависимости к кодированию источника. Там энтропия перестанет быть только мерой неопределённости и станет операционным пределом средней длины кода.