Модуль 9. Скорость–искажение и Information Bottleneck: как управлять потерей информации

Как читать этот модуль. Основной маршрут — §§9.1–9.8. Сначала мы разберём классическую теорию скорости–искажения, затем Information Bottleneck, его вариационную версию, VAE и реальные задачи сжатия и квантизации. §9.9 — математическое углубление про I–MMSE и гауссовское зашумление; его можно оставить на второй проход. §9.10 — упражнения.

9.1. Зачем модели забывать

После Модуля 6 легко прийти к правильной, но неполной интуиции: чем больше информации удалось сохранить, тем лучше. Для сжатия без потерь это действительно так — декодер обязан восстановить исходный объект точно.

Но большинство ML-систем решают другую задачу.

Изображение рукописной цифры содержит класс цифры, почерк автора, толщину линии, положение на холсте, фон и шум сенсора. Для распознавания цифры часть этих различий можно отбросить. Для идентификации автора почерка — уже нельзя. Для точной реконструкции изображения понадобится ещё больше деталей.

Одна и та же информация может быть:

• полезным сигналом для одной задачи;
• помехой для другой;
• обязательной частью исходного объекта для третьей.

Поэтому слово «лишняя» не имеет смысла без указания цели.

JPEG может забыть мелкие высокочастотные детали ради меньшего файла. Нейронный кодек может тратить больше бит на лицо, чем на гладкий фон. Энкодер классификатора может отбросить освещение и сохранить форму. Квантизатор LLM может грубо округлить многие веса, пока предиктивное распределение модели меняется мало.

Во всех случаях вопрос один:

Какой минимум информации нужно сохранить, чтобы качество по выбранному критерию осталось приемлемым?

Бутылочное горлышко здесь — не призыв забыть как можно больше. Это контракт: что разрешено потерять, какой ценой и ради какой задачи.

В модуле встретятся четыре тесно связанные конструкции:

1. теория скорости–искажения (rate–distortion theory) отвечает, сколько бит нужно при допустимой потере качества;
2. Information Bottleneck (IB) выводит цену ошибки из переменной, которую мы хотим предсказывать;
3. Variational Information Bottleneck (VIB) и VAE заменяют недоступные информационные величины обучаемыми вариационными целями;
4. обучаемое сжатие и квантизация показывают, когда абстрактная «скорость» становится реальным числом бит, а когда остаётся лишь полезным суррогатом.

Сквозная пара понятий будет такой:

• скорость — сколько информации прошло через представление;
• искажение — чем мы заплатили за уменьшение этой скорости.

Если не сказано иное, классическая теория скорости–искажения записывается в битах. Вариационные ML-цели обычно реализуются с натуральным логарифмом и измеряются в натах. Основание логарифма будет указано там, где оно меняет численный коэффициент.

9.2. Теория скорости–искажения: сколько информации нужно сохранить

От двух крайних кодов к целой кривой

Пусть

$$X\sim\operatorname{Bernoulli}(0.25),$$

а ошибка измеряется искажением Хэмминга:

$$d(x,\widehat x)=\mathbf 1\{x\ne\widehat x\}.$$

Есть два очевидных решения.

Точное кодирование. Чтобы восстановить источник без ошибок, асимптотически требуется

$$H_2(X)=h_2(0.25)\approx0.811\ \text{бита на символ}.$$

Нулевая скорость. Можно не передавать ничего и всегда восстанавливать $\widehat X=0$. Скорость равна нулю, а среднее искажение равно

$$P(X=1)=0.25.$$

Между этими точками находится целая область компромиссов. Например, если мы допускаем среднюю ошибку $D=0.1$, оптимальная асимптотическая скорость уже равна

$$R(0.1)=h_2(0.25)-h_2(0.1)\approx0.342\ \text{бита на символ}.$$

Теория скорости–искажения описывает именно эту границу: сколько информации неизбежно нужно передать при каждом допустимом качестве реконструкции.

Формальная постановка

Пусть источник выдаёт $X\sim P_X$, а декодер строит реконструкцию $\widehat X$ из воспроизводящего алфавита $\widehat{\mathcal X}$. Функция

$$d(x,\widehat x)\ge0$$

назначает цену замены $x$ на $\widehat x$.

Типичные варианты:

• искажение Хэмминга: $\mathbf 1\{x\ne\widehat x\}$;
• квадратичная ошибка: $(x-\widehat x)^2$;
• отрицательный логарифм правдоподобия реконструкции;
• KL между выходными распределениями исходной и сжатой моделей;
• перцептивное расстояние в пространстве признаков;
• рост ошибки в последующей задаче.

Для дискретного источника без памяти функция скорость–искажение определяется как

$$\boxed{ R(D) = \inf_{P_{\widehat X\mid X}:\ \mathbb E[d(X,\widehat X)]\le D} I(X;\widehat X) }.$$

Условное распределение $P_{\widehat X\mid X}$ называют тестовым каналом (test channel). Это не обязательно физический канал и не обязательно готовый алгоритм кодирования. Оно задаёт желаемое совместное распределение исходов и реконструкций: какие замены допустимы и как часто они происходят.

Почему взаимная информация становится числом бит

На первый взгляд в определении нет ни файла, ни кодовых слов — только взаимная информация. Операционный смысл появляется на длинных блоках.

При стандартных условиях теорема Шеннона утверждает:

• любая скорость выше $R(D)$ асимптотически достижима при среднем искажении не больше $D$;
• любая скорость ниже $R(D)$ асимптотически недостаточна.

Кодер не обязан передавать независимое описание каждого символа. Он кодирует целый типичный блок и использует статистическую повторяемость источника. Поэтому минимум взаимной информации после оптимизации по тестовому каналу становится минимальной скоростью в битах на символ.

Это тот же интеллектуальный ход, что и в обычной теореме кодирования источника: локальные вероятности превращаются в глобальную геометрию длинных последовательностей.

Геометрия компромисса

Функция $R(D)$ невозрастает и выпукла. Разрешили больше искажения — минимально необходимая скорость не может вырасти. Выпуклость означает, что смешивание двух режимов кодирования не хуже соответствующего среднего компромисса.

Нулевая скорость достигается при

$$D_{\max} = \min_{\widehat x} \mathbb E[d(X,\widehat x)],$$

потому что без сообщения декодер может выдавать только заранее выбранную константу.

Точка $R(0)=H(X)$ требует условий. Она верна для конечного дискретного источника, если нулевое искажение возможно только при точном воспроизведении. Для непрерывного источника с квадратичной ошибкой обычно

$$R(D)\to\infty \qquad\text{при}\qquad D\downarrow0:$$

точное вещественное число требует неограниченной точности.

На практике часто оптимизируют лагранжиан

$$I(X;\widehat X)+\lambda\,\mathbb E[d(X,\widehat X)].$$

Если граница дифференцируема в рабочей точке, то

$$\lambda=-R'(D).$$

То есть $\lambda$ — локальный обменный курс: сколько дополнительной скорости мы готовы заплатить за уменьшение искажения. Позже та же геометрия появится в IB, VAE и обучаемом сжатии.

Два эталонных источника

Для $X\sim\operatorname{Bernoulli}(p)$, $p\le1/2$, и искажения Хэмминга:

$$R(D) = \begin{cases} h_2(p)-h_2(D), & 0\le D\le p,\\ 0, & D\ge p. \end{cases}$$

Для гауссовского источника

$$X\sim\mathcal N(0,\sigma^2)$$

с квадратичным искажением, при логарифме по основанию 2:

$$\boxed{ R(D) = \begin{cases} \dfrac12\log_2\dfrac{\sigma^2}{D}, & 0<D<\sigma^2,\\ 0, & D\ge\sigma^2. \end{cases} }$$

В этой конкретной модели уменьшение MSE вдвое стоит ещё $0.5$ бита на вещественный символ.

Искажение не дано природой

Вот где легко сделать слишком сильный вывод. Теория находит оптимальный код для заданной функции искажения. Она не выбирает за нас, какая ошибка важна человеку или последующей системе.

MSE удобно согласуется с гауссовским правдоподобием и PSNR, но может дорого штрафовать небольшой сдвиг изображения и поощрять усреднённую размытую реконструкцию. Перцептивная функция потерь может лучше сохранять визуальную структуру, но уже наследует предположения выбранной сети признаков. Для сжатой LLM естественным искажением может оказаться не MSE весов, а рост NLL или KL между предиктивными распределениями.

В визуальном сжатии появляется и третий объект — перцептивная правдоподобность распределения реконструкций. Низкое среднее искажение и реалистичный вид не тождественны; дополнительное требование к восприятию в общем случае поднимает достижимую границу скорость–искажение.

Это не ослабляет теорию. Напротив, она заставляет явно назвать то, что инженерные обсуждения часто прячут в слове «качество».

9.3. Information Bottleneck: сохранить то, что важно для $Y$

В классической задаче функцию $d(x,\widehat x)$ задаёт инженер. Но в обучении представлений часто трудно заранее сказать, какие различия между входами существенны.

Представим два изображения одной и той же цифры. Пиксели отличаются, почерк отличается, фон отличается. Если их условные распределения метки почти одинаковы, классификатору выгодно считать их близкими. Если же целевая переменная — автор почерка, эти же различия становятся релевантными.

Information Bottleneck предлагает дать задаче самой определить цену забывания.

Пусть $Y$ — релевантная переменная, а представление $T$ строится только из $X$:

$$Y\longrightarrow X\longrightarrow T.$$

Мы хотим одновременно:

• уменьшить $I(X;T)$ — не переносить через представление все детали входа;
• сохранить $I(T;Y)$ — не потерять предиктивную информацию о цели.

Одна постановка минимизирует скорость при заданной релевантности:

$$\min_{P_{T\mid X}} I(X;T) \qquad\text{при}\qquad I(T;Y)\ge J.$$

Соответствующая лагранжева форма:

$$\boxed{ \mathcal L_{\mathrm{IB}} = I(X;T)-\beta I(T;Y) }.$$

При таком соглашении большое $\beta$ сильнее защищает информацию о $Y$. В других статьях встречаются обратные параметризации, поэтому роль коэффициента нужно читать из формулы, а не из буквы.

Предиктивная цена ошибки возникает сама

Из марковской цепи $Y\to X\to T$ следует

$$I(X;Y) = I(T;Y)+I(X;Y\mid T).$$

Условную взаимную информацию можно записать как среднюю KL-дивергенцию:

$$I(X;Y\mid T) = \mathbb E_{X,T} D_{\mathrm{KL}} \bigl( P_{Y\mid X} \|P_{Y\mid T} \bigr).$$

Следовательно,

$$\boxed{ I(X;Y)-I(T;Y) = \mathbb E_{X,T} D_{\mathrm{KL}} \bigl( P_{Y\mid X} \|P_{Y\mid T} \bigr) }.$$

Определим

$$d_{\mathrm{IB}}(x,t) = D_{\mathrm{KL}} \bigl( P_{Y\mid X=x} \|P_{Y\mid T=t} \bigr).$$

Тогда

$$I(X;T)-\beta I(T;Y) = I(X;T) + \beta\,\mathbb E[d_{\mathrm{IB}}(X,T)] - \beta I(X;Y).$$

Последний член не зависит от энкодера. Поэтому IB действительно является задачей скорость–искажение, где искажение измеряет не расстояние между входом и кодом, а ущерб предсказанию $Y$.

Это один из центральных результатов курса:

Два входа можно объединить, если после объединения почти не меняется то, что мы можем сказать о целевой переменной.

Если

$$I(T;Y)=I(X;Y),$$

то

$$I(X;Y\mid T)=0,$$

и представление сохраняет всю доступную во входе информацию о $Y$. В этом смысле оно является достаточным для предсказания $Y$. IB ищет не просто достаточное представление, а по возможности самое компактное среди таких представлений.

Самосогласованное решение

Для конечных алфавитов стационарная точка классической IB-задачи удовлетворяет

$$P(t\mid x) = \frac{P(t)}{Z_\beta(x)} \exp \left[ -\beta D_{\mathrm{KL}} \bigl(P(Y\mid x)\|P(Y\mid t)\bigr) \right].$$

Форма знакома по Модулю 8. Базовая масса $P(t)$ экспоненциально наклоняется в пользу кодов с малым предиктивным искажением.

Но теперь уравнение самосогласованно:

• $P(t)$ зависит от $P(t\mid x)$;
• $P(Y\mid t)$ тоже зависит от $P(t\mid x)$;
• а $P(t\mid x)$ вычисляется через них обоих.

Итерации, родственные алгоритму Blahut–Arimoto, находят согласованное мягкое кластеризование. В большой нейросети истинные $P(Y\mid x)$ неизвестны, пространства огромны, а взаимные информации недоступны напрямую. Поэтому следующий шаг — заменить точные величины вариационными границами.

9.4. Variational Information Bottleneck: как сделать IB обучаемым

Классическая цель красива, но в ней есть три неудобных объекта:

• неизвестное истинное $P(Y\mid T)$;
• агрегированное распределение представления $P(T)$;
• взаимные информации, которые трудно оценивать в высокой размерности.

VIB заменяет каждый из них обучаемой вероятностной моделью.

Пусть энкодер задаёт стохастическое представление

$$q_\phi(t\mid x),$$

классификатор — вариационный декодер

$$r_\psi(y\mid t),$$

а $r(t)$ — простое априорное распределение, например $\mathcal N(0,I)$.

Релевантность: классификатор как нижняя граница

Для любого $r_\psi(y\mid t)$:

$$\begin{aligned} \mathbb E[-\log r_\psi(Y\mid T)] &= H(Y\mid T)\\ &\quad+ \mathbb E_T D_{\mathrm{KL}} \bigl( P_{Y\mid T} \|r_\psi(\cdot\mid T) \bigr)\\ &\ge H(Y\mid T). \end{aligned}$$

Значит,

$$I(T;Y) =H(Y)-H(Y\mid T) \ge H(Y)+\mathbb E[\log r_\psi(Y\mid T)].$$

Кросс-энтропия не равна $-I(T;Y)$ буквально. Вычитая её из $H(Y)$, получаем обучаемую нижнюю границу на релевантность. Чем лучше декодер приближает истинное $P(Y\mid T)$, тем плотнее граница.

Скорость: KL к априорному распределению как верхняя граница

Определим агрегированное распределение представления:

$$q_\phi(t) = \mathbb E_{X\sim P_X} [q_\phi(t\mid X)].$$

Тогда

$$\boxed{ \mathbb E_X D_{\mathrm{KL}} \bigl(q_\phi(T\mid X)\|r(T)\bigr) = I_q(X;T) + D_{\mathrm{KL}} \bigl(q_\phi(T)\|r(T)\bigr) }.$$

Отсюда

$$I_q(X;T) \le \mathbb E_X D_{\mathrm{KL}} \bigl(q_\phi(T\mid X)\|r(T)\bigr).$$

У среднего KL два счёта:

1. информация о конкретном входе, действительно прошедшая через $T$;
2. цена несовпадения агрегированного распределения кодов с выбранным априорным распределением.

Если $r(t)=q_\phi(t)$, второй счёт исчезает. Для простого фиксированного априорного распределения он обычно остаётся.

Обучаемая цель

Стандартная минимизируемая форма VIB:

$$\boxed{ \mathcal J_{\mathrm{VIB}} = \mathbb E[-\log r_\psi(Y\mid T)] + \beta \mathbb E_X D_{\mathrm{KL}} \bigl(q_\phi(T\mid X)\|r(T)\bigr) }.$$

Первый член платит за потерю предсказательной информации. Второй выставляет цену за ёмкость представления.

Для диагонального гауссовского энкодера

$$q_\phi(t\mid x) = \mathcal N \bigl( \mu_\phi(x), \operatorname{diag}\sigma_\phi^2(x) \bigr),$$

и $r(t)=\mathcal N(0,I)$ KL вычисляется аналитически:

$$D_{\mathrm{KL}} \bigl(q_\phi(T\mid x)\|r(T)\bigr) = \frac12 \sum_j \left( \mu_j^2+\sigma_j^2-\log\sigma_j^2-1 \right).$$

Это уже знакомая ML-функция потерь. Большое $|\mu_j|$ стоит дорого; слишком узкое условное распределение тоже стоит дорого, потому что оно позволяет передать много информации о конкретном $x$.

Сэмплирование записывается через репараметризацию:

$$T = \mu_\phi(X) + \sigma_\phi(X)\odot\varepsilon, \qquad \varepsilon\sim\mathcal N(0,I).$$

Стохастичность здесь не только технический трюк. Она позволяет определить и управлять вероятностной ёмкостью представления; конечность конкретного счёта обеспечивается конечностью выбранного KL.

Что именно гарантирует VIB

Положительный результат уже достаточно силён: мы получили обычную обучаемую функцию потерь, в которой предсказательная ошибка и цена представления имеют точное информационное происхождение.

Но нужно помнить, что именно оптимизируется:

• классификационный член — вариационная граница на релевантность;
• KL-член — верхняя граница на $I(X;T)$;
• разрыв скорости зависит от несовпадения $q_\phi(t)$ и $r(t)$;
• малая скорость является индуктивным предположением, а не универсальным сертификатом обобщения или робастности.

Поэтому в эксперименте полезно логировать не только общую функцию потерь, но и её части: предиктивный NLL, средний KL, число активных координат и качество на отложенных данных. Один скаляр $\beta$ задаёт компромисс, но не объясняет автоматически, куда именно модель потратила свой информационный бюджет.

9.5. VAE как система скорость–искажение

VIB сохраняет информацию о внешней целевой переменной $Y$. У VAE такой переменной нет: модель должна объяснить сам объект $X$ через латентную переменную $Z$.

Генеративная модель задаётся как

$$p_\theta(x,z) =p(z)p_\theta(x\mid z),$$

а энкодер приближает апостериорное распределение:

$$q_\phi(z\mid x)\approx p_\theta(z\mid x).$$

Для одного объекта

$$\operatorname{ELBO}(x) = \mathbb E_{q_\phi(z\mid x)} [\log p_\theta(x\mid z)] - D_{\mathrm{KL}} \bigl(q_\phi(z\mid x)\|p(z)\bigr).$$

Как мы видели в Модуле 4,

$$\log p_\theta(x) = \operatorname{ELBO}(x) + D_{\mathrm{KL}} \bigl(q_\phi(z\mid x)\|p_\theta(z\mid x)\bigr).$$

То есть ELBO одновременно является обучаемой нижней границей на логарифм правдоподобия и точной целью вариационного вывода.

После усреднения по данным отрицательная ELBO принимает форму

$$\boxed{ -\mathbb E[\operatorname{ELBO}] = \underbrace{ \mathbb E[-\log p_\theta(X\mid Z)] }_{\mathcal D\;\text{— искажение}} + \underbrace{ \mathbb E_X D_{\mathrm{KL}} \bigl(q_\phi(Z\mid X)\|p(Z)\bigr) }_{\mathcal R\;\text{— скорость}} }.$$

На этом месте удобно остановиться и прочитать формулу словами:

VAE платит за две вещи: насколько трудно восстановить объект по латенту и сколько информации латент потребовал относительно априорного распределения.

Правдоподобие декодера задаёт искажение

Если

$$p_\theta(x\mid z) = \mathcal N \bigl( \mu_\theta(z), \sigma^2I \bigr)$$

с фиксированной $\sigma^2$, то

$$-\log p_\theta(x\mid z) = \text{const} + \frac{\|x-\mu_\theta(z)\|^2}{2\sigma^2}.$$

Искажение пропорционально MSE. Но коэффициент $1/(2\sigma^2)$ важен: изменение предполагаемого шума меняет обменный курс между реконструкцией и скоростью даже при формальном $\beta=1$.

Для бернуллиевского декодера возникает бинарная кросс-энтропия. Для дискретного категориального декодера — многоклассовый NLL. Выбор правдоподобия — это выбор геометрии ошибок, а не только последней строки кода.

Скорость включает информацию и несовпадение с априорным распределением

Пусть

$$q_\phi(z) = \mathbb E_X[q_\phi(z\mid X)].$$

Тогда

$$\boxed{ \mathcal R = I_q(X;Z) + D_{\mathrm{KL}} \bigl(q_\phi(Z)\|p(Z)\bigr) }.$$

Поэтому KL VAE — не просто «примерная взаимная информация». Он оплачивает:

1. сведения о конкретном объекте $X$;
2. несовпадение агрегированного распределения кодов с априорным распределением генеративной модели.

Второй член важен для генерации и для кодирования: декодер должен уметь получать латенты из того распределения, которое было объявлено априорным.

VAE, $\beta$-VAE и IB: одна геометрия, разные задачи

$\beta$-VAE минимизирует

$$\mathcal D+\beta\mathcal R.$$

При большем $\beta$ использование латентного канала штрафуется сильнее. В хорошо оптимизированной серии моделей это обычно сдвигает рабочую точку к меньшей скорости и большему искажению, хотя не выпуклая оптимизация не обещает идеальной монотонности для каждого запуска.

Важно не перепутать соглашения:

• в $I(X;T)-\beta I(T;Y)$ большое $\beta$ сильнее защищает релевантность;
• в $\mathcal D+\beta\mathcal R$ большое $\beta$ сильнее штрафует скорость.

Стандартный VAE лучше понимать как вариационную систему скорость–искажение для генеративного моделирования и реконструкции. Он родствен IB общей математикой узкого места, но не является буквально supervised IB: внешней переменной $Y$ здесь нет, а «полезность» латента определяется правдоподобием $p_\theta(x\mid z)$.

Коллапс апостериорного распределения

Если декодер достаточно мощный, он может хорошо моделировать $X$, почти не используя $Z$:

$$q_\phi(z\mid x)\approx p(z), \qquad \mathcal R\approx0.$$

Это коллапс апостериорного распределения (posterior collapse). С точки зрения ELBO модель нашла дешёвое решение: перестала платить за латентный канал. С точки зрения задачи, где нужен информативный латент, это неудача.

Практические способы управлять режимом:

• постепенное включение KL (KL warm-up);
• free bits или минимальная бесплатная ёмкость по координатам;
• явная целевая ёмкость $C$ вместо немедленного давления к нулю;
• менее всесильный декодер;
• более выразительное априорное распределение;
• контроль активных латентных координат и фактической скорости.

Разделение факторов не следует из одного коэффициента

Повышенный штраф за скорость может поощрять более простые и факторизованные латенты. Но из цели $\mathcal D+\beta\mathcal R$ не следует, что координаты обязаны совпасть с «истинными» факторами данных.

Без индуктивных предположений о данных, архитектуре или слабого учительского сигнала несупервизорное разделение факторов в общем случае неидентифицируемо. Поэтому $\beta$-VAE — полезный механизм управления ёмкостью, но не автоматический извлекатель семантически правильных осей.

Факультативно: IWAE

IWAE использует $K$ сэмплов:

$$\mathcal L_K = \mathbb E \log \left[ \frac1K \sum_{k=1}^{K} \frac{p_\theta(x,z_k)}{q_\phi(z_k\mid x)} \right].$$

При стандартных условиях

$$\mathcal L_1\le\mathcal L_2\le\cdots\le\log p_\theta(x).$$

Более плотная граница полезна для оценивания правдоподобия, но сама по себе не гарантирует более интерпретируемого или более полезного представления. Она меняет и геометрию градиента энкодера, поэтому «более плотная граница» и «более полезное представление» — разные вопросы.

9.6. Когда скорость становится реальными битами

В VIB и VAE слово «скорость» пока обозначало информационную цену внутри вероятностной модели. Чтобы получить файл, нужен ещё кодер и точный протокол — тот же урок, который мы уже видели в Модуле 6.

Есть два особенно полезных случая.

Обучаемое сжатие с потерями

Современный нейронный кодек обычно строит:

1. непрерывный латент $Y=g_a(X)$;
2. квантизованный латент $\widehat Y$;
3. энтропийную модель $p_\psi(\widehat y)$;
4. реконструкцию $\widehat X=g_s(\widehat Y)$.

Типичная цель:

$$\boxed{ \widehat R+\lambda\widehat D = \mathbb E[-\log_2p_\psi(\widehat Y)] + \lambda\,\mathbb E[d(X,\widehat X)] }.$$

Если $p_\psi$ затем используется совместимым арифметическим или ANS-кодером, первый член уже имеет буквальный смысл ожидаемого числа бит, с точностью до конечной длины, округления и служебных данных.

В кодеке с гиперприором передаются и основные латенты, и служебные латенты:

$$\widehat R \approx \mathbb E \left[ -\log_2p(\widehat Z) -\log_2p(\widehat Y\mid\widehat Z) \right].$$

Гиперлатент увеличивает собственный счёт, но может настолько улучшить предсказание $\widehat Y$, что общая скорость уменьшается. Это хороший пример того, почему «добавить ещё одну переменную» иногда означает сжать лучше, а не хуже.

Во время обучения жёсткое округление обычно заменяют дифференцируемым приближением: добавлением равномерного шума, прямым оценивателем градиента или другим суррогатом. На валидации нужно вернуться к настоящему квантизатору и физическому потоку бит.

ELBO как длина кода: идея bits-back

У VAE связь с кодированием тоже может быть буквальной. Рассмотрим один объект $x$ и латент $z$.

Наивный код заплатил бы:

$$-\log p(z)-\log p_\theta(x\mid z).$$

Но энкодер знает распределение $q_\phi(z\mid x)$. В bits-back-схеме часть случайных бит используется, чтобы выбрать $z\sim q_\phi(z\mid x)$, а после декодирования эти биты можно восстановить, снова закодировав $z$ под $q_\phi(z\mid x)$.

Чистая длина для выбранного $z$ становится

$$-\log p_\theta(x\mid z) -\log p(z) +\log q_\phi(z\mid x).$$

Если логарифмы взяты по основанию 2, то после усреднения по $q_\phi(z\mid x)$ это ровно

$$-\operatorname{ELBO}(x).$$

Таким образом, отрицательная ELBO — не только удобная функция потерь. При подходящей bits-back-реализации она является ожидаемой чистой длиной кода латентной генеративной модели.

Практическая схема сложнее формулы: нужны начальные случайные биты, согласованный порядок операций, конечная точность и удобный стековый кодер вроде ANS. Но этот механизм объясняет, почему качество вариационного вывода влияет на компрессию: большой вариационный разрыв означает, что код не возвращает столько бит, сколько мог бы.

Квантизация весов LLM: та же дисциплина, но не тот же код

Пусть обученные веса $W$ заменяются на $\widehat W$. Фраза «4 бита на параметр» задаёт только номинальную разрядность. Фактический размер может дополнительно включать:

• масштабы групп;
• нулевые точки;
• кодовые книги и индексы;
• выбросы, сохранённые в повышенной точности;
• выравнивание, упаковку и заголовки.

Искажение тоже нужно определить. Возможны:

$$\|W-\widehat W\|_2^2,$$ $$\mathbb E\|WX-\widehat WX\|_2^2,$$ $$\mathbb E D_{\mathrm{KL}} \bigl( P_{\text{original}}(\cdot\mid c) \|P_{\text{quantized}}(\cdot\mid c) \bigr),$$

или рост NLL и ошибки последующей задачи.

Одинаковая MSE весов в двух направлениях параметрического пространства может иметь совершенно разный функциональный эффект. Поэтому методы квантизации фактически ищут более полезный суррогат искажения:

• GPTQ использует приближённую информацию второго порядка для последовательной компенсации ошибки;
• AWQ определяет важные каналы по статистике активаций;
• SmoothQuant эквивалентным масштабированием переносит часть трудности квантизации между активациями и весами.

Эти методы естественно читать на языке скорости–искажения: они неравномерно распределяют ограниченный бюджет там, где ошибка дороже. Но они не являются доказательством достижения шенноновской $R(D)$ для некоторого универсального источника весов.

9.7. Как построить честную кривую скорость–искажение

Одна модель при одном значении $\beta$ или одной разрядности — ещё не компромисс. Это всего одна точка, и она может оказаться плохо оптимизированной.

Полезный эксперимент строится как серия:

1. фиксируем обучающее и оценочное распределения;
2. точно определяем скорость;
3. точно определяем искажение;
4. меняем $\lambda$, $\beta$, ёмкость или разрядность;
5. оставляем недоминируемые точки — эмпирическую границу Парето;
6. отдельно измеряем задержку, память и аппаратную стоимость.

Одни и те же слова в разных задачах обозначают разные величины:

Перед публикацией красивой кривой стоит задать четыре вопроса:

• Единица скорости — бит на пиксель, объект, параметр, токен или латент?
• Включены ли служебные данные и параметры энтропийной модели?
• Искажение измерено на отложенных данных и совпадает ли оно с задачей пользователя?
• Не скрывает ли среднее небольшое число катастрофических ошибок?

И ещё одна практическая граница: меньший файл не гарантирует более быстрый инференс. Неудобная распаковка, неподдерживаемая разрядность или лишние обращения к памяти могут уничтожить выигрыш. Теория задаёт информационную ось; инженерная система добавляет вычислительную.

Скорость–искажение — не название одной метрики. Это дисциплина постановки задачи.

9.8. Информационная плоскость: цель обучения или описание динамики?

Information Bottleneck как нормативный принцип точен: мы сами выбираем стохастическое отображение $P_{T\mid X}$ и оптимизируем явную цель.

Более сильное утверждение звучит иначе: обычная глубокая сеть, обучаемая стандартным SGD без IB-регуляризатора, якобы сама проходит характерную траекторию в плоскости

$$\bigl(I(X;T),I(T;Y)\bigr).$$

В ранних работах была предложена двухфазная картина:

1. подгонка (fitting) — растёт информация о метках;
2. сжатие (compression) — $I(X;T)$ уменьшается при почти неизменной $I(T;Y)$.

Это красивая гипотеза: сначала сеть учится предсказывать, затем забывает детали входа. Но спор вокруг неё оказался полезнее самого лозунга, потому что заставил спросить: что именно нанесено на оси?

Для детерминированной сети $T=f(X)$ возникают два режима.

Если $X$ дискретна, то

$$I(X;T)=H(T).$$

Если отображение инъективно на носителе, то

$$H(T)=H(X),$$

и истинная MI не обязана уменьшаться во время обучения.

Если $X$ непрерывна и $T=f(X)$ детерминированно, совместное распределение часто лежит на подмногообразии, и взаимная информация в стандартной непрерывной постановке может быть бесконечной.

Чтобы получить конечную изменяющуюся величину, исследователь добавляет шум, квантование или дискретизацию. Но тогда он уже измеряет MI конкретной зашумлённой или квантованной модели, а не абстрактную «информацию слоя вообще».

Saxe и соавторы показали, что наблюдаемая фаза сжатия зависит от активаций и оценивателя. Goldfeld и соавторы уточнили, что старые биннинговые оценки могли хорошо отслеживать геометрическое сближение представлений одного класса, даже когда не оценивали буквальную истинную MI детерминированного слоя.

Главный вывод здесь — не запрет на информационные плоскости, а правильная иерархия утверждений:

• нормативный IB — строгая оптимизационная задача;
• VIB — конкретная обучаемая вариационная реализация;
• информационная плоскость шумной сети — осмысленный объект после явного задания шума и оценивателя;
• универсальная естественная IB-траектория всех глубоких сетей — эмпирическая гипотеза, а не следствие DPI.

Это хороший пример общей привычки курса: сначала определить случайные величины и распределения, а уже потом интерпретировать картинку.

9.9. Математическое углубление: I–MMSE и гауссовское зашумление

Этот раздел не нужен для понимания VIB и VAE. Он показывает ещё один точный мост между количеством оставшейся информации и качеством восстановления.

Теория скорости–искажения спрашивает: сколько информации нужно для заданной MSE? Тождество I–MMSE задаёт локальный обратный вопрос:

Насколько быстро растёт взаимная информация, если немного повысить SNR гауссовского наблюдения?

Рассмотрим канал

$$Y_\gamma = \sqrt\gamma X+N, \qquad N\sim\mathcal N(0,1),$$

где $\mathbb E[X^2]<\infty$.

Определим минимальную среднеквадратичную ошибку:

$$\operatorname{mmse}(\gamma) = \mathbb E \left[ \left( X-\mathbb E[X\mid Y_\gamma] \right)^2 \right].$$

Для взаимной информации в натах:

$$\boxed{ \frac{d}{d\gamma} I(X;Y_\gamma) = \frac12\operatorname{mmse}(\gamma) }.$$

В битах правая часть дополнительно делится на $\ln2$.

Для любого конечного $\Gamma$:

$$I(X;Y_\Gamma) = \frac12 \int_0^\Gamma \operatorname{mmse}(\gamma)\,d\gamma.$$

Формула говорит буквально: площадь под кривой оптимальной ошибки восстановления равна накопленной информации, вошедшей в гауссовский канал.

Гауссовский пример замыкает круг

Пусть

$$X\sim\mathcal N(0,\sigma^2).$$

Тогда

$$\operatorname{mmse}(\gamma) = \frac{\sigma^2}{1+\gamma\sigma^2},$$

а

$$I(X;Y_\gamma) = \frac12\ln(1+\gamma\sigma^2).$$

Обозначим достигнутую ошибку восстановления через

$$D = \frac{\sigma^2}{1+\gamma\sigma^2}.$$

Тогда

$$1+\gamma\sigma^2 = \frac{\sigma^2}{D},$$

и

$$I(X;Y_\gamma) = \frac12\ln\frac{\sigma^2}{D}.$$

В битах это ровно гауссовская функция скорость–искажение:

$$R(D)=\frac12\log_2\frac{\sigma^2}{D}.$$

Так два раздела модуля сходятся в одной формуле: оптимальная ошибка оценивания вдоль гауссовского канала воспроизводит границу скорости–искажения гауссовского источника.

Почему интеграл до бесконечности требует осторожности

Для дискретного $X$ с конечной энтропией при $\Gamma\to\infty$ обычно

$$I(X;Y_\Gamma)\to H(X).$$

Для невырожденного абсолютно непрерывного $X$ взаимная информация обычно растёт без границы. Поэтому нельзя без дополнительной перенормировки писать

$$h(X) = \frac12 \int_0^\infty \operatorname{mmse}(\gamma)\,d\gamma.$$

У стандартного гауссиана интеграл расходится как $\tfrac12\ln(1+\Gamma)$, хотя дифференциальная энтропия конечна. Здесь снова важно не переносить формулу из дискретной интуиции в непрерывный случай без проверки опорной меры.

Связь с диффузионными моделями

Прямое зашумление в DDPM имеет вид

$$X_t = \sqrt{\bar\alpha_t}X_0 + \sqrt{1-\bar\alpha_t}\,\varepsilon, \qquad \varepsilon\sim\mathcal N(0,I).$$

После нормировки это гауссовский канал с

$$\gamma_t = \frac{\bar\alpha_t}{1-\bar\alpha_t}.$$

Для истинного зашумлённого распределения формула Тведи даёт

$$\boxed{ \mathbb E[X_0\mid X_t=x_t] = \frac{ x_t + (1-\bar\alpha_t) \nabla_{x_t}\log p_t(x_t) }{ \sqrt{\bar\alpha_t} } }.$$

Точная скор-функция (score function) определяет апостериорное среднее — оптимальный по MSE денойзер. Поэтому обучение скор-функции можно читать как обучение семейства оптимальных восстановителей на разных уровнях шума.

Но из I–MMSE одного не следуют:

• конкретные веса любой диффузионной функции потерь;
• перцептивно оптимальный график шума;
• число шагов сэмплирования;
• эквивалентность диффузии, flow matching и IB.

Variational Diffusion Models связывают непрерывновременную вариационную границу с SNR и показывают важные инвариантные свойства графика шума. Это уже дополнительная структура конкретной вероятностной модели, а не автоматическое следствие одного тождества I–MMSE.

9.11. Ключевые выводы модуля

Потеря информации полезна только относительно задачи. Различия, ненужные классификатору, могут быть необходимы реконструктору или другой целевой переменной.

Теория скорости–искажения задаёт фундаментальную границу после выбора источника и цены ошибки:

$$R(D) = \inf_{P_{\widehat X\mid X}:\ \mathbb E d\le D} I(X;\widehat X).$$

Information Bottleneck делает искажение предиктивным:

$$d_{\mathrm{IB}}(x,t) = D_{\mathrm{KL}} \bigl(P(Y\mid x)\|P(Y\mid t)\bigr).$$

VIB превращает недоступные MI в обучаемую цель, но использует нижнюю границу на релевантность и верхнюю границу на скорость.

VAE естественно читается в координатах скорость–искажение:

$$-\operatorname{ELBO} = \text{искажение} + \text{скорость}.$$

Это роднит VAE с IB, но не делает их одной и той же задачей. В VAE цену ошибки задаёт правдоподобие реконструкции, а внешний $Y$ отсутствует.

В реальном кодеке скорость должна дойти до битового потока. NLL латентов, KL-регуляризатор, номинальная разрядность и физический размер файла — связанные, но разные величины.

Информационная плоскость осмысленна только после определения случайности и оценивателя. Нормативный IB — теорема и оптимизационная постановка; естественная IB-динамика обычной сети — эмпирическая гипотеза.

И наконец, I–MMSE показывает ещё один способ прочитать информацию: как накопленную по SNR способность оптимально восстанавливать сигнал. Для гауссовского источника эта связь возвращает нас ровно к функции скорость–искажение, замыкая модуль.

Основные источники

1. C. E. Shannon, Coding Theorems for a Discrete Source With a Fidelity Criterion.
2. N. Tishby, F. Pereira, W. Bialek, The Information Bottleneck Method.
3. A. Alemi et al., Deep Variational Information Bottleneck.
4. D. P. Kingma, M. Welling, Auto-Encoding Variational Bayes.
5. Y. Burda, R. Grosse, R. Salakhutdinov, Importance Weighted Autoencoders.
6. C. Burgess et al., Understanding Disentangling in $\beta$-VAE; F. Locatello et al., Challenging Common Assumptions in the Unsupervised Learning of Disentangled Representations.
7. J. Ballé et al., Variational Image Compression with a Scale Hyperprior; J. Townsend, T. Bird, D. Barber, Practical Lossless Compression with Latent Variables using Bits Back Coding.
8. Y. Blau, T. Michaeli, Rethinking Lossy Compression: The Rate-Distortion-Perception Tradeoff.
9. E. Frantar et al., GPTQ; J. Lin et al., AWQ; G. Xiao et al., SmoothQuant.
10. A. Saxe et al., On the Information Bottleneck Theory of Deep Learning; Z. Goldfeld et al., Estimating Information Flow in Deep Neural Networks.
11. D. Guo, S. Shamai, S. Verdú, Mutual Information and Minimum Mean-Square Error in Gaussian Channels.
12. J. Ho, A. Jain, P. Abbeel, Denoising Diffusion Probabilistic Models; D. P. Kingma et al., Variational Diffusion Models.