Модуль 2. Энтропия

Как читать этот модуль. Основной маршрут — §§2.1–2.4. Короткие доказательства базовых свойств входят в ядро курса: они объясняют механизм и понадобятся дальше. Два фрагмента отмечены как математическое углубление — вывод энтропийной скорости и производная энтропии по температуре. Их можно оставить для второго прохода. Инженерная вставка о speculative decoding тоже факультативна.

2.1. Энтропия: средний счёт за неопределённость

Представьте два классификатора, которые выбирают один и тот же класс. Первый выдаёт

$q_A=(0.97,0.01,0.01,0.01),$

а второй —

$q_B=(0.40,0.30,0.20,0.10).$

По argmax их ответы неразличимы: победил первый класс. Но сами распределения устроены совершенно по-разному. У первого почти вся масса собрана в одной точке; у второго остаётся несколько правдоподобных альтернатив. Энтропия замечает именно эту разницу:

$H(q_A)\approx0.242\ \text{бита},\qquad H(q_B)\approx1.846\ \text{бита}.$

Это и есть первый ML-смысл энтропии: она смотрит не только на победителя, а на всю форму распределения.

В Модуле 1 мы увидели, почему неожиданность отдельного исхода должна измеряться логарифмом. Теперь сделаем следующий шаг. Пусть дискретная случайная величина $X$ имеет распределение $P$ с вероятностями $p(x)$. Если не оговорено иное, алфавит в этом модуле конечен, логарифмы берутся по основанию 2, а единицей служит бит.

Неожиданность, или собственная информация (surprisal), конкретного исхода $x$ равна

$i_P(x)=-\log_2 p(x).$

Энтропия Шеннона — ожидаемая неожиданность исхода:

$$H_P(X) =\mathbb E_{X\sim P}[i_P(X)] =-\sum_{x\in\mathcal X}p(x)\log_2 p(x).$$

Соглашение $0\log 0:=0$ задаётся по непрерывности, поскольку $u\log u\to0$ при $u\to0^+$.

У этой формулы есть простое чтение. Источник как будто выставляет счёт за каждый реализовавшийся исход: $-\log_2 p(x)$ бит. Редкий исход дорог, но приходит редко; частый стоит мало, но встречается постоянно. Энтропия — средний счёт до того, как мы увидели результат.

Можно перевести его ещё в одну полезную шкалу. Величина

$N_{\mathrm{eff}}=2^{H(P)}$

показывает, сколько равновероятных исходов соответствовало бы той же энтропии. Для общего распределения это эффективное число: оно не обязано быть целым и не равно буквальному размеру носителя. Так, энтропия $3$ бита соответствует по неопределённости восьми равновероятным вариантам.

Свойство 1. От полной определённости до равномерного распределения

Для распределения на $n$ возможных исходах

$0\le H(X)\le\log_2n.$

Нижняя граница достигается, когда исход фактически предопределён. Верхняя — когда все $n$ вариантов равновероятны. Иными словами, энтропия правильно ставит на противоположные концы шкалы детерминированность и полное отсутствие предпочтений между вариантами.

Неотрицательность. Для любого исхода с $p(x)>0$

$-\log_2 p(x)\ge0.$

Поэтому все ненулевые вклады в ожидание неотрицательны. Равенство $H(X)=0$ возможно только тогда, когда единственный исход имеет вероятность 1. $\blacksquare$

Максимум. Здесь нулевые вероятности требуют небольшой аккуратности. Обозначим положительный носитель распределения через

$\mathcal S=\{x:p(x)>0\},\qquad m=|\mathcal S|\le n.$

Для вогнутого логарифма неравенство Йенсена имеет вид

$$\sum_x w_x\log_2 a_x\le\log_2\!\left(\sum_x w_xa_x\right).$$

Поэтому

$$\begin{aligned} H(X) &=\sum_{x\in\mathcal S}p(x)\log_2\frac1{p(x)}\\ &\le\log_2\!\left(\sum_{x\in\mathcal S}p(x)\frac1{p(x)}\right) =\log_2m \le\log_2n. \end{aligned}$$

Первое неравенство обращается в равенство только при одинаковых $p(x)$ на носителе. Чтобы получить именно $\log_2n$, носитель должен включать все $n$ исходов. Значит, максимизатор — полное равномерное распределение. $\blacksquare$

Это принцип максимальной энтропии в самой простой форме: если известно только множество допустимых исходов и больше никаких ограничений, равномерное распределение оставляет минимум необоснованных предпочтений. В Модуле 8 мы добавим ограничения на средние и увидим, как из того же принципа возникают уже неравномерные экспоненциальные распределения и softmax.

Эти границы полезны и как инженерная проверка. Если код для распределения по словарю из $n$ токенов возвращает отрицательную энтропию или значение выше $\log_2n$, проблема не в тонкой интерпретации — в вычислении ошибка.

Свойство 2. Вогнутость: забытый источник смеси добавляет неопределённость

Пусть у нас есть два распределения $p$ и $q$, а перед генерацией мы случайно выбираем одно из них: первое с вероятностью $\lambda$, второе с вероятностью $1-\lambda$. Если после этого забыть, какое распределение было выбрано, наблюдаемый закон станет смесью

$r=\lambda p+(1-\lambda)q.$

Энтропия удовлетворяет неравенству

$H(r)\ge\lambda H(p)+(1-\lambda)H(q).$

То есть потеря информации о том, какой компонент породил пример, не может уменьшить среднюю неопределённость. Это один из тех результатов, которые позже будут постоянно возвращаться: в смесях, латентных моделях, ансамблях и взаимной информации.

Доказательство. Функция

$\varphi(u)=-u\log_2u$

при $u>0$ имеет вторую производную

$\varphi''(u)=-\frac1{u\ln2}<0.$

После непрерывного доопределения $\varphi(0)=0$ она строго вогнута на $[0,1]$. Поскольку

$H(p)=\sum_i\varphi(p_i),$

энтропия вогнута на вероятностном симплексе. При $0<\lambda<1$ равенство возможно только при $p=q$. $\blacksquare$

Здесь легко сказать чуть больше, чем доказано. Энтропия смеси не меньше средней энтропии компонентов, но не обязана превосходить каждый компонент. Если смешать равномерное распределение с вырожденным, результат останется менее энтропийным, чем равномерная часть.

2.2. Цепное правило: как разбить один счёт на токены

Для последовательности можно получить один общий счёт за весь исход, а можно оплачивать его по частям. Цепное правило говорит, что при корректном условливании сумма не изменится.

Пусть $X$ и $Y$ имеют совместное распределение $p(x,y)$. Совместная энтропия равна

$H(X,Y)=-\sum_{x,y}p(x,y)\log_2 p(x,y).$

Условная энтропия $Y$ после наблюдения $X$ определяется как

$$\begin{aligned} H(Y\mid X) &=\sum_{x:p(x)>0}p(x)H(Y\mid X=x)\\ &=-\sum_{x,y}p(x,y)\log_2 p(y\mid x). \end{aligned}$$

Ключевое слово здесь — средняя. $H(Y\mid X)$ усредняет остаточную неопределённость по возможным значениям $X$. Это не то же самое, что $H(Y\mid X=x_0)$ для одного конкретного события. Для значений $x$ с $p(x)=0$ условное распределение можно задать произвольно: оно получает нулевой вес.

Цепное правило

$H(X,Y)=H(X)+H(Y\mid X).$

Прочитаем формулу до доказательства. Сначала мы платим $H(X)$ бит в среднем, чтобы узнать $X$. После этого остаётся в среднем $H(Y\mid X)$ бит неопределённости о $Y$. Вместе это ровно тот же счёт, что и прямое описание пары $(X,Y)$.

Доказательство. На положительном носителе

$p(x,y)=p(x)p(y\mid x).$

Логарифм превращает произведение в сумму:

$$\begin{aligned} H(X,Y) &=-\sum_{x,y}p(x,y)\log_2\bigl(p(x)p(y\mid x)\bigr)\\ &=-\sum_{x,y}p(x,y)\log_2 p(x) -\sum_{x,y}p(x,y)\log_2 p(y\mid x)\\ &=H(X)+H(Y\mid X). \end{aligned} \qquad\blacksquare$$

Порядок можно поменять:

$H(X,Y)=H(Y)+H(X\mid Y).$

Для последовательности по индукции получаем

$$H(X_1,\ldots,X_n) =\sum_{i=1}^nH(X_i\mid X_1,\ldots,X_{i-1}) =\sum_{i=1}^nH(X_i\mid X_{<i}).$$

Вот сильная формулировка, которую стоит запомнить: цепное правило — бухгалтерия авторегрессии. Совместная неопределённость последовательности раскладывается на остаточную неопределённость каждого следующего элемента после уже известного префикса. Если после q почти всегда приходит u, контекст делает второй символ дешёвым. Если продолжение действительно многовариантно, счёт остаётся высоким.

Источник и модель: одна факторизация, два разных счёта

Фраза «цепное правило буквально описывает работу языковой модели» почти попадает в цель, но ей нужна одна важная развилка.

Пусть данные порождаются распределением $P$:

$p(x_{1:n})=\prod_{i=1}^np(x_i\mid x_{<i}).$

Тогда цепное правило раскладывает энтропию самого источника:

$H_P(X_{1:n})=\sum_{i=1}^nH_P(X_i\mid X_{<i}).$

Авторегрессионная модель задаёт своё распределение $Q_\theta$:

$q_\theta(x_{1:n})=\prod_{i=1}^nq_\theta(x_i\mid x_{<i}).$

Для конкретной наблюдаемой последовательности модельный счёт также складывается по токенам:

$$-\log_2 q_\theta(x_{1:n}) =\sum_{i=1}^n-\log_2 q_\theta(x_i\mid x_{<i}).$$

Но после усреднения по данным $P$ мы получаем уже не $H(P)$ автоматически, а кросс-энтропию источника относительно модели:

$H(P,Q_\theta)=\mathbb E_{X\sim P}\bigl[-\log_2 q_\theta(X)\bigr].$

Эти величины совпадут, только если модельные условные распределения совпадают с условными распределениями источника почти всюду по $P$. В Модуле 3 разница станет видна одной строкой:

$H(P,Q)=H(P)+D_{\mathrm{KL}}(P\|Q).$

Пока достаточно помнить смысл. Цепное правило действительно объясняет, почему функция потерь языковой модели складывается по токенам. Оно не утверждает, что любая такая функция потерь уже равна внутренней энтропии источника.

Условление уменьшает энтропию — но именно в среднем

Контекст в среднем помогает:

$H(Y\mid X)\le H(Y),$

причём равенство выполняется тогда и только тогда, когда $X$ и $Y$ независимы.

Доказательство. Маргинальное распределение $Y$ является смесью условных распределений:

$p_Y=\sum_xp(x)p_{Y\mid X=x}.$

По вогнутости энтропии

$$H(Y) =H\!\left(\sum_xp(x)p_{Y\mid X=x}\right) \ge\sum_xp(x)H(Y\mid X=x) =H(Y\mid X).$$

При строгой вогнутости равенство означает, что все условные распределения с положительным весом одинаковы и равны $p_Y$, то есть $X$ и $Y$ независимы. $\blacksquare$

Отсюда сразу следует субаддитивность:

$H(X,Y)\le H(X)+H(Y),$

с равенством ровно при независимости.

Граница утверждения компактна, но важна. Для отдельного значения $x_0$ вполне может оказаться

$H(Y\mid X=x_0)>H(Y).$

Некоторое конкретное наблюдение способно открыть более неоднозначный режим, хотя в среднем знание $X$ уменьшает неопределённость. Упражнение 3 строит такой пример без каких-либо трюков.

2.3. От монеты к языку: энтропийная скорость

Монета как лаборатория

Для монеты с вероятностью орла $p$ энтропия равна

$h_2(p)=-p\log_2p-(1-p)\log_2(1-p).$

Строчную букву $h_2$ обычно используют для бинарной энтропии; это заодно не даёт спутать её с энтропией Реньи порядка 2, которую часто обозначают $H_2$.

График говорит всю историю. При $p=0$ или $p=1$ будущий бросок уже известен и энтропия равна нулю. При $p=1/2$ ни один исход не предпочтительнее другого, поэтому неопределённость максимальна и равна одному биту. Производные и строгую вогнутость вы получите в Упражнении 1.

Но текст — не мешок независимо вытянутых букв. Если просто посчитать частоты символов и перемешать строку, мы сохраним односимвольную энтропию и уничтожим слова, синтаксис и тему. Поэтому для языка нужен объект, который учитывает зависимость от контекста.

Главный результат для источника с памятью

Пусть $(X_t)_{t\ge1}$ — стационарный процесс на конечном алфавите: распределение любого конечного блока не зависит от его абсолютной позиции во времени. Обозначим остаточную неопределённость следующего символа при контексте длины $n-1$ через

$h_n=H(X_n\mid X_1,\ldots,X_{n-1}),\qquad h_1=H(X_1).$

Тогда более длинный контекст не увеличивает эту величину в среднем, и существует предел

$$\boxed{ h =\lim_{n\to\infty}H(X_n\mid X_1,\ldots,X_{n-1}) =\lim_{n\to\infty}\frac1nH(X_1,\ldots,X_n) }$$

— энтропийная скорость (entropy rate) источника.

Это точная версия фразы «сколько новых бит в среднем приносит следующий символ, когда доступно всё прошлое». Односимвольная энтропия отвечает на вопрос о букве без контекста; энтропийная скорость — о неизбежном остатке после использования зависимостей источника.

Математическое углубление: почему предел существует. Для первого чтения можно перейти к эксперименту Шеннона ниже.

По свойству «условление уменьшает энтропию» и стационарности

$$\begin{aligned} h_{n+1} &=H(X_{n+1}\mid X_1,\ldots,X_n)\\ &\le H(X_{n+1}\mid X_2,\ldots,X_n)\\ &=H(X_n\mid X_1,\ldots,X_{n-1})=h_n. \end{aligned}$$

Последовательность $(h_n)$ не возрастает и ограничена снизу нулём, поэтому сходится. По цепному правилу

$$\frac1nH(X_1,\ldots,X_n)=\frac1n\sum_{i=1}^nh_i.$$

Средние Чезаро сходящейся последовательности имеют тот же предел, что и сама последовательность. Отсюда следуют обе записи в рамке.

Теперь выражение «бит на символ» получило строгий объект, но вместе с ним появились и условия: источник, алфавит, стационарность и правила предварительной обработки должны быть заданы. Без этого «энтропия английского языка» звучит содержательно, но не обозначает единственную универсальную константу.

Шеннон просит человека быть языковой моделью

В статье Prediction and Entropy of Printed English 1951 года Шеннон рассматривал 27 символов: 26 букв и пробел. Последовательные приближения показывали, как контекст снимает неопределённость:

Но самая красивая часть работы начинается там, где таблиц $n$-грамм уже не хватает. Испытуемому показывали предыдущий текст и просили называть следующий символ. Если первая догадка была неверной, он пробовал второй вариант, затем третий — пока не находил правильный. Номер удачной догадки превращал человеческое знание слов, грамматики, клише и темы в измеримые ограничения на условную энтропию.

При контексте порядка ста предыдущих символов итоговая таблица дала приблизительно 1.3 бит/символ сверху и 0.6 бит/символ снизу. Шеннон сформулировал вывод осторожно: для обычного литературного английского длинные зависимости снижают энтропию до величины порядка одного бита на букву.

Почему этот эксперимент до сих пор впечатляет? Равномерный выбор из 27 символов стоит 4.76 бита. Человеческий предиктор, используя структуру языка на десятках позиций, обнаруживает, что большая часть этого счета предсказуема. Синтаксис, устойчивые выражения и тема текста здесь перестают быть абстрактным «смыслом» и проявляются как статистические ограничения на продолжение.

Но сильный результат не требует превращать число 1 в физическую константу. Выборка у Шеннона была небольшой; редкие номера догадок оценивались ненадёжно; человек не является идеальным предиктором; газетный текст, научная проза и поэзия дают разные режимы. Диапазон $0.6$–$1.3$ — историческая оценка в конкретном эксперименте, а не нижний предел для любого файла на английском.

При стандартных условиях теоремы кодирования источника энтропийная скорость задаёт асимптотический предел сжатия без потерь. Это будет Модуль 6. Уже сейчас важно видеть предмет теоремы: предел относится к заданному стохастическому источнику, а не к слову «язык» без модели данных.

Современная языковая модель как компрессор

Авторегрессионная LLM решает задачу, очень похожую на эксперимент Шеннона: по префиксу назначает вероятности продолжениям. Если соединить эти вероятности с арифметическим или интервальным кодированием (range coding), модельный NLL превращается, с небольшими накладными расходами, в реально достижимую длину кода.

Отсюда возникает точная и полезная картина:

• лучшая модель на отложенном корпусе обычно даёт меньший счёт в битах и лучший компрессор;
• её кросс-энтропия остаётся верхней оценкой энтропии источника при той же постановке;
• приближение к оценке Шеннона интересно, но совпадение чисел из разных корпусов, алфавитов и протоколов само по себе ничего не доказывает.

Если $Q$ назначает положительную вероятность всем последовательностям, возможным под $P$, то для каждого $n$

$$H_P(X_{1:n}) \le \mathbb E_P[-\log_2q(X_{1:n})].$$

После деления на $n$ модельный битрейт может приближаться к энтропийной скорости сверху. Разрыв — цена несовпадения модели с источником; в следующем модуле она получит имя KL-дивергенции.

Неравенство относится к ожиданию по источнику. Например, при $P=Q=\operatorname{Bernoulli}(0.9)$ энтропия равна примерно $0.469$ бита, а корпус из одного исхода $1$ имеет NLL всего $-\log_2 0.9\approx0.152$ бита. Такой корпус встречается с вероятностью $0.9$: отдельное измерение может лежать ниже энтропии, не нарушая теорему.

2.4. Как читать энтропию языковой модели

В ML словом «энтропия» часто называют несколько разных чисел. Они родственны, но отвечают на разные вопросы. Перед интерпретацией полезно спросить две вещи: чьё распределение стоит внутри логарифма и по какому распределению берётся среднее?

Именно смешение этих строк порождает многие слишком сильные выводы.

Предиктивная энтропия: насколько широк выбор модели

Для фиксированного контекста $c=x_{<t}$ модель выдаёт распределение $q_\theta(v\mid c)$ по словарю $\mathcal V$. Его энтропия равна

$$H_\theta(c) =-\sum_{v\in\mathcal V}q_\theta(v\mid c)\log_2 q_\theta(v\mid c).$$

Низкое значение означает, что масса собрана на небольшом числе токенов. Высокое — что заметную массу делят многие продолжения. Величина

$2^{H_\theta(c)}$

даёт удобный «эффективный размер меню»: для равномерного распределения она буквально равна числу вариантов, в общем случае служит энтропийным эквивалентом.

Это хороший локальный диагностический сигнал. Он может обнаружить резкое ветвление продолжения, чрезмерную концентрацию, изменение поведения после дообучения (fine-tuning) или необычный участок последовательности. Но энтропия отвечает на вопрос о концентрации, а не о фактической истинности. Модель способна уверенно ошибаться; высокая энтропия может означать не тупик, а реальную многовариантность. Калибровка и разделение эпистемической и алеаторной неопределённости требуют дополнительных конструкций и данных.

Особенно важно не путать предиктивную энтропию с NLL на тестовых данных. Модель может искусственно заострить распределение, уменьшить $H(Q_\theta(\cdot\mid c))$ и одновременно повысить функцию потерь на реальном токене, если масса ушла не туда.

Температура: один случай, где направление известно точно

Пусть $z_v$ — фиксированные логиты, а

$$q_T(v)=\frac{\exp(z_v/T)}{\sum_u\exp(z_u/T)},\qquad T>0.$$

Здесь можно сказать без эмпирических оговорок: при фиксированных логитах повышение температуры не уменьшает энтропию. Низкая температура усиливает различия логитов и собирает массу у максимумов; высокая сглаживает их.

Если единственный токен имеет максимальный логит, то при $T\to0$ энтропия стремится к нулю. Если максимум делят $r$ токенов, предел равен $\log_2r$. При $T\to\infty$ распределение стремится к равномерному на всём словаре и

$H(q_T)\to\log_2|\mathcal V|.$

Поэтому при неравных логитах любая целевая энтропия строго между предельными значениями задаёт единственную температуру.

Математическое углубление: производная по температуре. Положим $\beta=1/T$ и временно измерим энтропию в натах. Для $Z(\beta)=\sum_v e^{\beta z_v}$

$H(q_T)=\log Z(\beta)-\beta\,\mathbb E_{q_T}[z].$

Поскольку

$\frac{d}{d\beta}\mathbb E_{q_T}[z]=\operatorname{Var}_{q_T}(z),$

получаем

$$\frac{dH}{d\beta}=-\beta\operatorname{Var}_{q_T}(z), \qquad \frac{d\beta}{dT}=-\frac1{T^2},$$

и, следовательно,

$$\frac{d}{dT}H(q_T) =\frac{\operatorname{Var}_{q_T}(z)}{T^3}\ge0.$$

Для битов правая часть дополнительно делится на $\ln2$.

Точная монотонность относится именно к чистому масштабированию температурой (temperature scaling) при фиксированных логитах. Top-$k$, top-$p$, min-$p$ и другие фильтры сначала меняют носитель или относительные веса, а затем перенормируют распределение. Это уже другие преобразования; их нельзя без доказательства подменять утверждением о температуре.

Дообучение после предобучения: полезная гипотеза вместо универсального закона

У популярного тезиса «после инструктивного дообучения энтропия ниже» есть правдоподобное эмпирическое ядро: SFT, RLHF или DPO обучают модель предпочитать определённые форматы ответа. На конкретном наборе инструктивных промптов это может сконцентрировать массу, понизить среднюю предиктивную энтропию и уменьшить разнообразие. Модель реже продолжает промпт как случайный фрагмент интернета и чаще выбирает ожидаемую роль ассистента.

Но из самого ярлыка instruct это не следует. Дообучение после предобучения (post-training) меняет логиты контекстно-зависимым образом. Оно может увеличить энтропию там, где базовая модель была чрезмерно уверена в нежелательном продолжении, и уменьшить её там, где предпочтения задают узкий формат. Коллапс мод (mode collapse) — возможный режим отказа при агрессивной оптимизации, а не определение RLHF.

Поэтому правильный инженерный вопрос звучит не «у instruct-моделей энтропия ниже?», а так:

На фиксированном наборе промптов, при одном токенизаторе и до применения фильтров сэмплирования, как изменилось распределение токенов после дообучения?

Это уже измеримый эксперимент, а не спор лозунгов.

Инженерная вставка: почему одной энтропии мало для speculative decoding

Рассмотрим два распределения на токенах a и b:

$p=(0.9,0.1),\qquad q_1=(0.9,0.1),\qquad q_2=(0.1,0.9).$

У $q_1$ и $q_2$ одинаковая энтропия. Но первое распределение совпадает с $p$, а второе почти переставляет его массу местами. Для exact speculative decoding это принципиальная разница.

В базовой одношаговой схеме exact speculative decoding средняя вероятность принятия draft-токена равна

$$\alpha =\sum_v\min\{p(v),q(v)\} =1-\operatorname{TV}(p,q),$$

где

$\operatorname{TV}(p,q)=\frac12\sum_v|p(v)-q(v)|.$

Для $q_1$ имеем $\alpha=1$, для $q_2$ — только $0.2$, хотя энтропии одинаковы. Урок здесь шире конкретного алгоритма: энтропия сжимает распределение в одно число и теряет информацию о том, где именно лежит масса. Когда инженерная задача зависит от совпадения двух распределений, нужна мера их близости, а не энтропия каждого по отдельности.

Кросс-энтропия и перплексия: счёт модели на данных

Для токенизированной тестовой последовательности $x_{1:n}$ определим среднюю функцию потерь с логарифмом по основанию $b$:

$$\widehat L_b =-\frac1n\sum_{i=1}^n\log_b q_\theta(x_i\mid x_{<i}).$$

Это эмпирическая кросс-энтропия, или средний NLL на токен при выбранной нормировке. Перплексия равна

$\operatorname{PPL}=b^{\widehat L_b}.$

Если функция потерь измерена в натах, $\operatorname{PPL}=e^{\widehat L}$; если в битах, $\operatorname{PPL}=2^{\widehat L_2}$. Интерпретация как «эффективное число равновероятных вариантов» точна для равномерного распределения и полезна как эквивалентная шкала в общем случае. Она не означает, что на каждом шаге модель буквально выбирала из целого числа кандидатов.

Перплексия зависит от токенизации: разные токенизаторы разбивают один текст на разное число событий. Поэтому PPL надёжно сравнивать прежде всего на одном корпусе, с одним токенизатором и одинаковым протоколом подсчёта. Биты на символ или байт используют внешнюю единицу нормировки и облегчают сопоставление, но не устраняют зависимость от модели, контекста, предварительной обработки и состава данных.

То же различие важно для законов масштабирования (scaling laws). Они описывают эмпирическое снижение тестовой кросс-энтропии в исследованном диапазоне масштабов. Это сильный факт о моделях и данных, но не доказательство того, что экстраполированная асимптота обязана быть универсальной энтропией языка.

На этом месте полезно остановиться и свести модуль к одному вопросу. Когда вы видите слово «энтропия» в ML-статье или на панели метрик, спросите: распределение модели оценивает само себя, модель оценивается на данных или речь идёт о неизвестном источнике? Формулы похожи, но научные выводы различаются.

2.6. Литература и первоисточники

1. C. E. Shannon, «A Mathematical Theory of Communication», 1948 — исходная постановка энтропии, кодирования и шумного канала.
2. C. E. Shannon, «Prediction and Entropy of Printed English», 1951 — первичный источник экспериментов с угадыванием английского текста.
3. T. M. Cover, J. A. Thomas, «Elements of Information Theory», 2-е изд., 2006 — свойства энтропии, цепное правило и энтропийная скорость.
4. D. J. C. MacKay, «Information Theory, Inference, and Learning Algorithms», 2003 — интуитивная и ML-ориентированная подача.
5. Y. Polyanskiy, Y. Wu, «Information Theory: From Coding to Learning», 2025 — современное строгое изложение.
6. A. Holtzman et al., «The Curious Case of Neural Text Degeneration», 2019 — температура, truncation-based decoding и форма распределения языковой модели.
7. Y. Leviathan, M. Kalman, Y. Matias, «Fast Inference from Transformers via Speculative Decoding», ICML 2023 — exact speculative decoding и вероятность принятия draft-токена.
8. G. Delétang et al., «Language Modeling Is Compression», ICLR 2024 — кросс-энтропия языковой модели как кодовый счёт.
9. J. Kaplan et al., «Scaling Laws for Neural Language Models», 2020 — эмпирические законы масштабирования тестовой кросс-энтропии.