Модуль 4. Неравенство Йенсена: когда среднее встречает нелинейность

Пусть

$$P(X=0)=P(X=2)=\frac12.$$

Тогда

$$\mathbb E X=1.$$

1. Квадрат

Для $\phi(x)=x^2$:

$$\phi(\mathbb E X)=1^2=1,$$

а

$$\mathbb E\phi(X) = \frac12\cdot0^2+\frac12\cdot2^2 =2.$$

Следовательно,

$$\mathbb E[X^2]-(\mathbb E X)^2=2-1=1.$$

2. Связь с дисперсией

По определению

$$\operatorname{Var}(X) = \mathbb E[X^2]-(\mathbb E X)^2 =1.$$

То есть разрыв Йенсена для функции $x^2$ в точности равен дисперсии.

3. Экспонента

Для $\phi(x)=e^x$:

$$\phi(\mathbb E X)=e\approx2.71828,$$

а

$$\mathbb E[e^X] = \frac{1+e^2}{2} \approx4.19453.$$

Разрыв равен приблизительно

$$4.19453-2.71828 \approx1.47625.$$

4. Почему неравенства строгие

Обе функции, $x^2$ на $\mathbb R$ и $e^x$, строго выпуклы. Случайная величина $X$ не является почти наверное постоянной, поэтому равенство в Йенсене невозможно.

Даны

$$q_1=(0.7,0.2,0.1), \qquad q_2=(0.2,0.3,0.5),$$

равные веса и правильный класс $y=1$.

1. Средний NLL участников

$$L_1=-\ln0.7\approx0.356675,$$ $$L_2=-\ln0.2\approx1.609438.$$

Среднее:

$$\bar L = \frac{L_1+L_2}{2} \approx0.983056.$$

2. Арифметическая смесь вероятностей

$$q_{\mathrm{mix}} = \frac{q_1+q_2}{2} = (0.45,0.25,0.30).$$

Для правильного класса:

$$L_{\mathrm{mix}} = -\ln0.45 \approx0.798508.$$

И действительно,

$$0.798508<0.983056.$$

3. Нормированное геометрическое среднее

Ненормированные веса:

$$r_k=\sqrt{q_1(k)q_2(k)}.$$

Получаем

$$r = (\sqrt{0.14},\sqrt{0.06},\sqrt{0.05}) \approx (0.374166,0.244949,0.223607).$$

После нормировки:

$$q_{\mathrm{geom}} \approx (0.443997,0.290664,0.265339).$$

NLL:

$$L_{\mathrm{geom}} = -\ln0.443997 \approx0.811938.$$

Снова

$$0.811938<0.983056.$$

4. Что именно проверено

Для смеси вероятностей применён Йенсен к $-\log$:

$$-\log\frac{q_1(y)+q_2(y)}2 \le \frac{-\log q_1(y)-\log q_2(y)}2.$$

Для усреднения логитов применена выпуклость кросс-энтропии с softmax по логитам.

5. Почему ничего не следует о доле правильных ответов на всём наборе

Неравенства относятся к NLL конкретного наблюдаемого класса. Они не утверждают, что наиболее вероятный класс (argmax) изменится в правильную сторону на каждом объекте. Доля правильных ответов (accuracy) зависит только от того, совпал ли наиболее вероятный класс с меткой, а NLL использует всю назначенную вероятность. Поэтому ансамбль может улучшить NLL без изменения доли правильных ответов — или даже изменить несколько наиболее вероятных классов в обе стороны.

Модель:

$$z\sim\mathcal N(0,1), \qquad x\mid z\sim\mathcal N(z,1).$$

1. Маргинальное распределение

Можно записать

$$x=z+\varepsilon, \qquad \varepsilon\sim\mathcal N(0,1),$$

где $z$ и $\varepsilon$ независимы. Поэтому

$$p(x)=\mathcal N(0,2).$$

При $x=1$:

$$\log p(1) = -\frac12\log(4\pi)-\frac14 \approx-1.515512.$$

2. Точное апостериорное распределение

Для линейной гауссовской модели апостериорное распределение (posterior) также гауссовское. Его точность (precision) равна

$$1+1=2,$$

поэтому дисперсия равна $1/2$. Среднее:

$$\frac{1\cdot x}{1+1} = \frac12.$$

Следовательно,

$$p(z\mid x=1) = \mathcal N\left(\frac12,\frac12\right).$$

3. KL для $q=\mathcal N(0,1)$

Для одномерных гауссиан

$$D_{\mathrm{KL}} \bigl( \mathcal N(\mu_q,\sigma_q^2) \| \mathcal N(\mu_p,\sigma_p^2) \bigr) = \frac12 \left[ \frac{\sigma_q^2}{\sigma_p^2} + \frac{(\mu_p-\mu_q)^2}{\sigma_p^2} -1 + \ln\frac{\sigma_p^2}{\sigma_q^2} \right].$$

Подставляем

$$\mu_q=0,\quad \sigma_q^2=1,\quad \mu_p=\frac12,\quad \sigma_p^2=\frac12:$$ $$\begin{aligned} D_{\mathrm{KL}}(q\|p) &= \frac12 \left[ 2+\frac{(1/2)^2}{1/2}-1+\ln\frac12 \right]\\ &= \frac12 \left[ \frac32-\ln2 \right]\\ &\approx0.403426. \end{aligned}$$

4. ELBO

Из точного разложения

$$\log p(x)-\operatorname{ELBO}(x) = D_{\mathrm{KL}}(q\|p(z\mid x)).$$

Поэтому

$$\operatorname{ELBO}(1) = -1.515512-0.403426 \approx-1.918939.$$

5. Когда граница точна

Нужно выбрать

$$q(z\mid x) = p(z\mid x) = \mathcal N\left(\frac12,\frac12\right).$$

Тогда KL-gap равен нулю.

1. KL до объединения

$$\begin{aligned} D(P\|Q) &= 0.4\ln\frac{0.4}{0.1} + 0.3\ln\frac{0.3}{0.2}\\ &\quad+ 0.2\ln\frac{0.2}{0.3} + 0.1\ln\frac{0.1}{0.4}\\ &\approx0.456435\ \text{ната}. \end{aligned}$$

2. KL после объединения

Групповые распределения:

$$\bar P=(0.7,0.3), \qquad \bar Q=(0.3,0.7).$$

Поэтому

$$\begin{aligned} D(\bar P\|\bar Q) &= 0.7\ln\frac{0.7}{0.3} + 0.3\ln\frac{0.3}{0.7}\\ &\approx0.338919\ \text{ната}. \end{aligned}$$

Таким образом,

$$D(\bar P\|\bar Q) < D(P\|Q).$$

3. Два применения логарифмического неравенства сумм

Для первой группы:

$$0.4\ln\frac{0.4}{0.1} + 0.3\ln\frac{0.3}{0.2} \ge 0.7\ln\frac{0.7}{0.3}.$$

Для второй:

$$0.2\ln\frac{0.2}{0.3} + 0.1\ln\frac{0.1}{0.4} \ge 0.3\ln\frac{0.3}{0.7}.$$

Складывая, получаем требуемое неравенство.

4. Условие равенства

В каждой группе должны совпадать условные распределения исходов под $P$ и $Q$.

Для группы $G$ это означает

$$P(X=i\mid X\in G) = Q(X=i\mid X\in G)$$

для всех $i\in G$ с положительной массой.

Иными словами, после знания группы внутренняя структура не должна помогать различать $P$ и $Q$.

Пусть

$$m=\mathbb E X.$$

По определению

$$D_\phi(X,m) = \phi(X)-\phi(m)-\nabla\phi(m)^\top(X-m).$$

Берём ожидание:

$$\begin{aligned} \mathbb E D_\phi(X,m) &= \mathbb E\phi(X)-\phi(m) -\nabla\phi(m)^\top(\mathbb E X-m)\\ &= \mathbb E\phi(X)-\phi(m). \end{aligned}$$

Поскольку $m=\mathbb E X$,

$$\mathbb E D_\phi(X,\mathbb E X) = \mathbb E\phi(X)-\phi(\mathbb E X).$$

Для $\phi(x)=x^2/2$:

$$D_\phi(x,m) = \frac{x^2}{2}-\frac{m^2}{2}-m(x-m) = \frac12(x-m)^2.$$

Следовательно,

$$\mathbb E D_\phi(X,\mathbb E X) = \frac12\operatorname{Var}(X),$$

что совпадает с разрывом Йенсена для $x^2/2$.