Теория информации для машинного обучения7 / 16

Модуль 7. Канал и пропускная способность

Выберите ответы и нажмите «Проверить». Для чисел подходят точка, запятая и простые дроби. Ответы и черновики сохраняются в этом браузере и общие для RU/EN.

Проверено: 0 / 29 · Верно: 0

Вопрос 7.1.1

7.1. Надёжная передача через шум

В чём состоит главное различие между кодированием источника и канальным кодированием?

Один правильный вариантAПервое работает с непрерывными данными, второе — только с дискретнымиBПервое удаляет статистическую избыточность, второе добавляет структурированную избыточность для защиты от шумаCПервое использует энтропию, второе не связано с вероятностямиDМежду ними нет принципиального различия

A) Первое работает с непрерывными данными, второе — только с дискретными

B) Первое удаляет статистическую избыточность, второе добавляет структурированную избыточность для защиты от шума

C) Первое использует энтропию, второе не связано с вероятностями

D) Между ними нет принципиального различия

Ответ и разбор

Правильный ответ: B. Кодирование источника стремится сократить описание, а канальное кодирование намеренно расходует дополнительные символы, чтобы сообщения оставались различимыми после искажений.

Вопрос 7.2.1

7.2. Дискретный канал без памяти и блочный код

Что означает отсутствие памяти у DMC?

Один правильный вариантAВходные символы обязательно независимыBКодер не может помнить предыдущие сообщенияCПри фиксированной входной последовательности переходный закон факторизуется как

W^n(y^n\mid x^n)=\prod_iW(y_i\mid x_i)

DВыход не зависит от входа

A) Входные символы обязательно независимы

B) Кодер не может помнить предыдущие сообщения

C) При фиксированной входной последовательности переходный закон факторизуется как $W^n(y^n\mid x^n)=\prod_iW(y_i\mid x_i)$

D) Выход не зависит от входа

Ответ и разбор

Правильный ответ: C. Условная независимость относится к каналу при заданных входах. Кодовые символы сами по себе могут быть сильно зависимы.

Вопрос 7.2.2

7.2. Дискретный канал без памяти и блочный код

Что измеряет скорость $R=(1/n)\log_2M$ ?

Один правильный вариантAЧисло информационных бит на одно использование каналаBЧисло ошибок на блокCПропускную способность в битах в секундуDРазмер переходной матрицы

A) Число информационных бит на одно использование канала

B) Число ошибок на блок

C) Пропускную способность в битах в секунду

D) Размер переходной матрицы

Ответ и разбор

Правильный ответ: A. Из M сообщений передаётся log₂M бит выбора за n использований канала.

Вопрос 7.2.3

7.2. Дискретный канал без памяти и блочный код

Как соотносятся средняя и максимальная вероятности ошибки?

Один правильный вариантAСредняя всегда больше максимальнойBОни совпадают для каждого кодаCМаксимальная ошибка определяется только шумом, а средняя — только кодомDМаксимальная ошибка не меньше средней и предъявляет более сильное требование к каждому сообщению

A) Средняя всегда больше максимальной

B) Они совпадают для каждого кода

C) Максимальная ошибка определяется только шумом, а средняя — только кодом

D) Максимальная ошибка не меньше средней и предъявляет более сильное требование к каждому сообщению

Ответ и разбор

Правильный ответ: D. Средняя ошибка может скрывать несколько очень плохих кодовых слов; максимальная контролирует худшее сообщение.

Вопрос 7.3.1

7.3. Пропускная способность дискретного канала

Пропускная способность конечного DMC без ограничения стоимости равна

Один правильный вариантA

H(X)

при равномерном входеB

\max_{P_X}I(X;Y)

\log_2|\mathcal Y|

для любого каналаD

I(X;Y)

при фактическом распределении входа

A) $H(X)$ при равномерном входе

B) $\max_{P_X}I(X;Y)$

C) $\log_2|\mathcal Y|$ для любого канала

D) $I(X;Y)$ при фактическом распределении входа

Ответ и разбор

Правильный ответ: B. Пропускная способность оптимизирует взаимную информацию по способу использования канала; фиксированное распределение входа даёт лишь одну возможную рабочую точку.

Вопрос 7.3.2

7.3. Пропускная способность дискретного канала

Когда пропускная способность конечного DMC равна нулю?

Один правильный вариантAКогда все строки переходной матрицы одинаковыBКогда в матрице есть хотя бы один нольCКогда входной алфавит двоичныйDКогда шумовая вероятность больше нуля

A) Когда все строки переходной матрицы одинаковы

B) Когда в матрице есть хотя бы один ноль

C) Когда входной алфавит двоичный

D) Когда шумовая вероятность больше нуля

Ответ и разбор

Правильный ответ: A. Если W(·|x) одинаково для всех x, выход не помогает различить входы. Ненулевой шум сам по себе не означает нулевую пропускную способность.

Вопрос 7.3.3

7.3. Пропускная способность дискретного канала

Почему $I(Y;\widetilde Y)$ при фактическом распределении классов не обязана совпадать с пропускной способностью матрицы шума меток?

Один правильный вариантAВзаимная информация определена только для равномерных классовBПропускная способность не использует матрицу переходовCПропускная способность максимизирует взаимную информацию по распределению чистой метки, а набор данных фиксирует это распределениеDОни всегда совпадают по определению

A) Взаимная информация определена только для равномерных классов

B) Пропускная способность не использует матрицу переходов

C) Пропускная способность максимизирует взаимную информацию по распределению чистой метки, а набор данных фиксирует это распределение

D) Они всегда совпадают по определению

Ответ и разбор

Правильный ответ: C. Одна величина описывает заданный набор данных, другая — лучшее возможное использование той же матрицы канала.

Вопрос 7.4.1

7.4. BSC, BEC и Z-канал

Что верно для BSC с вероятностью инверсии $\varepsilon>1/2$ ?

Один правильный вариантAПропускная способность обязательно равна нулюBКанал нельзя декодироватьCФормула

1-h_2(\varepsilon)

становится отрицательнойDПриёмник может инвертировать выходы и получить эквивалентный BSC с вероятностью

1-\varepsilon<1/2

A) Пропускная способность обязательно равна нулю

B) Канал нельзя декодировать

C) Формула $W^n(y^n\mid x^n)=\prod_iW(y_i\mid x_i)$ становится отрицательной

D) Приёмник может инвертировать выходы и получить эквивалентный BSC с вероятностью $1-\varepsilon<1/2$

Ответ и разбор

Правильный ответ: D. При ε=1 канал даже передаёт один бит без потери: он детерминированно меняет каждый символ на противоположный.

Вопрос 7.4.2

7.4. BSC, BEC и Z-канал

Пропускная способность BEC $(\varepsilon)$ равна

Один правильный вариантA

1-\varepsilon

1-h_2(\varepsilon)

h_2(\varepsilon)

\varepsilon

A) $H(X)$

B) $1-h_2(\varepsilon)$

C) $h_2(\varepsilon)$

D) $\varepsilon$

Ответ и разбор

Правильный ответ: A. При стирании остаётся вся неопределённость входа, а при отсутствии стирания вход восстанавливается точно.

Вопрос 7.4.3

7.4. BSC, BEC и Z-канал

Что демонстрирует Z-канал в модуле?

Один правильный вариантAЛюбой двоичный канал имеет нулевую пропускную способностьBАлгоритм Блахута—Аримото работает только для симметричных каналовCДля асимметричного канала равномерное входное распределение может быть не оптимальнымDВзаимная информация линейна по

P_X

A) Любой двоичный канал имеет нулевую пропускную способность

B) Алгоритм Блахута—Аримото работает только для симметричных каналов

C) Для асимметричного канала равномерное входное распределение может быть не оптимальным

D) Взаимная информация линейна по $P_X$

Ответ и разбор

Правильный ответ: C. При α=0.25 оптимально использовать уязвимый символ 1 с вероятностью примерно 0.4278, а не 0.5.

Вопрос 7.5.1

7.5. Гауссовский канал и ограничение мощности

Для вещественного дискретного AWGN-канала $Y=X+Z$ с $\mathbb E[X^2]\le P$ и $Z\sim\mathcal N(0,N)$ пропускная способность равна

Один правильный вариантA

\log_2(P/N)

бит/сB

\frac12\log_2(1+P/N)

бит на вещественное использованиеC

B\log_2(1+P/N)

бит на использованиеD

P/N

бит на использование

A) $H(X)$ бит/с

B) $\frac12\log_2(1+P/N)$ бит на вещественное использование

C) $I(X;Y)$ бит на использование

D) $P/N$ бит на использование

Ответ и разбор

Правильный ответ: B. Множитель 1/2 относится к одному вещественному дискретному использованию. Формула Шеннона—Хартли в битах/с использует полосу B.

Вопрос 7.5.2

7.5. Гауссовский канал и ограничение мощности

Как точно меняется пропускная способность вещественного AWGN-канала при удвоении SNR $\rho$ ?

Один правильный вариантAВсегда добавляется ровно один битBВсегда добавляется ровно половина битаCПропускная способность удваиваетсяDПриращение равно

\frac12\log_2\frac{1+2\rho}{1+\rho}

и стремится к

0.5

только при высокой SNR

A) Всегда добавляется ровно один бит

B) Всегда добавляется ровно половина бита

C) Пропускная способность удваивается

D) Приращение равно $P_X$ и стремится к $\varepsilon$ только при высокой SNR

Ответ и разбор

Правильный ответ: D. Формулировка «полбита за удвоение» является высоко-SNR приближением, а не точным равенством при любом ρ.

Вопрос 7.6.1

7.6. Почему случайное кодирование достигает $R<I(X;Y)$

Какова роль случайного кодирования в доказательстве достижимости?

Один правильный вариантAОно сразу даёт практический линейный декодерBМалая средняя ошибка по ансамблю доказывает существование хотя бы одной хорошей детерминированной кодовой книгиCОно показывает, что любой код хорошDОно устраняет необходимость увеличивать длину блока

A) Оно сразу даёт практический линейный декодер

B) Малая средняя ошибка по ансамблю доказывает существование хотя бы одной хорошей детерминированной кодовой книги

C) Оно показывает, что любой код хорош

D) Оно устраняет необходимость увеличивать длину блока

Ответ и разбор

Правильный ответ: B. Это вероятностный метод: доказательство существования не равно эффективной инженерной конструкции.

Вопрос 7.6.2

7.6. Почему случайное кодирование достигает $R<I(X;Y)$

Почему случайная кодовая книга из доказательства обычно непрактична?

Один правильный вариантAОна содержит около

2^{nR}

слов, а полный перебор при декодировании экспоненциаленBОна работает только при

R>C

CОна требует нулевого шумаDЕё кодовые слова не различаются

A) Она содержит около $H(X)$ слов, а полный перебор при декодировании экспоненциален

B) Она работает только при $R>C$

C) Она требует нулевого шума

D) Её кодовые слова не различаются

Ответ и разбор

Правильный ответ: A. Практические LDPC-, турбо- и полярные коды добавляют структуру и эффективные алгоритмы декодирования.

Вопрос 7.7.1

7.7. Обратная теорема и конечная длина блока

Что доказывает граница через неравенство Фано при $R>C$ ?

Один правильный вариантA

P_e^{(n)}

обязательно равно

1-C/R

для каждого

n

BОшибка убывает как

1/n

CОшибка не может стремиться к нулю; полученная оценка является слабой обратной теоремойDУ любого кода вероятность ошибки в точности равна единице

A) $H(X)$ обязательно равно $1-C/R$ для каждого $n$

B) Ошибка убывает как $1/n$

C) Ошибка не может стремиться к нулю; полученная оценка является слабой обратной теоремой

D) У любого кода вероятность ошибки в точности равна единице

Ответ и разбор

Правильный ответ: C. Сильная обратная теорема дополнительно утверждает P_e^(n)→1; это существенно сильнее границы Фано.

Вопрос 7.7.2

7.7. Обратная теорема и конечная длина блока

Что утверждает сильная обратная теорема (strong converse) для DMC при фиксированном $R>C$ ?

Один правильный вариантAОшибка может быть любой константой меньше единицыBСуществует код с нулевой ошибкойCСкорость автоматически уменьшается до

C

DБлочная вероятность ошибки стремится к единице

A) Ошибка может быть любой константой меньше единицы

B) Существует код с нулевой ошибкой

C) Скорость автоматически уменьшается до $W^n(y^n\mid x^n)=\prod_iW(y_i\mid x_i)$

D) Блочная вероятность ошибки стремится к единице

Ответ и разбор

Правильный ответ: D. При передаче со скоростью выше пропускной способности блочная вероятность ошибки не просто остаётся положительной: в стандартной постановке она стремится к единице.

Вопрос 7.7.3

7.7. Обратная теорема и конечная длина блока

Почему пропускной способности недостаточно для описания короткого кода?

Один правильный вариантAПри конечном

n

важны также целевая ошибка и дисперсия канала;

R<C

не гарантирует малую ошибку для данного блокаBПропускная способность определена только для BSCCПри коротком блоке взаимная информация всегда равна нулюDДлина блока не влияет на связь

A) При конечном $H(X)$ важны также целевая ошибка и дисперсия канала; $R<C$ не гарантирует малую ошибку для данного блока

B) Пропускная способность определена только для BSC

C) При коротком блоке взаимная информация всегда равна нулю

D) Длина блока не влияет на связь

Ответ и разбор

Правильный ответ: A. Пропускная способность — член первого порядка. Анализ при конечной длине блока учитывает тройку (n,R,ε) и поправку второго порядка через дисперсию канала.

Вопрос 7.8.1

7.8. Шумные метки как канал

При шуме, зависящем только от класса (class-conditional noise), и марковской цепи $X\to Y\to\widetilde Y$ верно

Один правильный вариантA

I(X;\widetilde Y)\ge I(X;Y)

I(X;\widetilde Y)\le I(X;Y)

I(X;\widetilde Y)=H(X)

DDPI неприменима к меткам

A) $H(X)$

B) $n$

C) $I(X;\widetilde Y)=H(X)$

D) DPI неприменима к меткам

Ответ и разбор

Правильный ответ: B. Канал разметки не может увеличить информацию наблюдаемой метки о входе по сравнению с чистой меткой.

Вопрос 7.8.2

7.8. Шумные метки как канал

Для симметричного $K$ -классового канала меток пропускная способность равна нулю при

Один правильный вариантA

\eta=0

\eta=1/2

для любого

K

\eta=(K-1)/K

, когда каждая строка становится равномернойD

\eta=1

A) $H(X)$

B) $1-h_2(\varepsilon)$ для любого $K$

C) $\eta=(K-1)/K$ , когда каждая строка становится равномерной

D) $\varepsilon$

Ответ и разбор

Правильный ответ: C. При η=1 канал всё ещё сообщает, каким классом объект не является; полное исчезновение информации происходит в точке равномерной строки.

Вопрос 7.9.1

7.9. Канальное кодирование в ML: ECOC и DeepJSCC

Что гарантирует минимальное расстояние $d_{\min}$ в идеализированном ECOC?

Один правильный вариантAИдеальную калибровку вероятностейBНезависимость ошибок бинарных классификаторовCОптимальность каждого бинарного разбиенияDИсправление до

\left\lfloor(d_{\min}-1)/2\right\rfloor

битовых ошибок ближайшим кодовым декодером

A) Идеальную калибровку вероятностей

B) Независимость ошибок бинарных классификаторов

C) Оптимальность каждого бинарного разбиения

D) Исправление до $P_X$ битовых ошибок ближайшим кодовым декодером

Ответ и разбор

Правильный ответ: D. В реальном ECOC ошибки компонент могут быть зависимыми и неодинаковыми, поэтому это геометрическая, а не полная статистическая гарантия.

Вопрос 7.9.2

7.9. Канальное кодирование в ML: ECOC и DeepJSCC

Как следует интерпретировать результаты DeepJSCC?

Один правильный вариантAКак эмпирическое преимущество совместно обученного кодирования при некоторых конечных длинах блока, значениях отношения сигнал/шум и ограничениях полосы, а не как опровержение теоремы разделенияBКак доказательство, что кодирование источника больше не нужноCКак универсальную гарантию превосходства над любым кодомDКак кодирование изображений без потерь и искажений

A) Как эмпирическое преимущество совместно обученного кодирования при некоторых конечных длинах блока, значениях отношения сигнал/шум и ограничениях полосы, а не как опровержение теоремы разделения

B) Как доказательство, что кодирование источника больше не нужно

C) Как универсальную гарантию превосходства над любым кодом

D) Как кодирование изображений без потерь и искажений

Ответ и разбор

Правильный ответ: A. DeepJSCC оптимизирует задачу с искажением и может быть выгоден при конечных ресурсах и рассогласовании условий; асимптотическая теорема разделения сохраняет свою область применимости.

Вопрос 7.10.1

7.10. LLM как канал: точная постановка и границы аналогии

Когда $q_\theta(y\mid x)$ можно строго рассматривать как канал от промпта к ответу?

Один правильный вариантAТолько если модель является линейнойBПосле фиксации весов, алгоритма декодирования и случайности генерацииCТолько при контексте длины одинDНикогда

A) Только если модель является линейной

B) После фиксации весов, алгоритма декодирования и случайности генерации

C) Только при контексте длины один

D) Никогда

Ответ и разбор

Правильный ответ: B. Но для определения пропускной способности всё равно нужны допустимые входы, ограничение стоимости, понятие использования канала и критерий ошибки.

Вопрос 7.10.2

7.10. LLM как канал: точная постановка и границы аналогии

Почему длина контекстного окна сама по себе не является пропускной способностью Шеннона?

Один правильный вариантAТокены всегда независимыBПропускная способность измеряется только в байтахCКонтекстное окно не содержит информацииDНе определены переходный закон, ресурсное ограничение, кодовая задача и единица использования; размер тензора не равен числу надёжно переданных бит

A) Токены всегда независимы

B) Пропускная способность измеряется только в байтах

C) Контекстное окно не содержит информации

D) Не определены переходный закон, ресурсное ограничение, кодовая задача и единица использования; размер тензора не равен числу надёжно переданных бит

Ответ и разбор

Правильный ответ: D. Длина контекста — реальный ресурс, но выразить его как пропускную способность можно только после задания вероятностной модели и операционной задачи.

Вопрос 7.10.3

7.10. LLM как канал: точная постановка и границы аналогии

Какой вывод о lost in the middle корректен?

Один правильный вариантAЭффект математически следует из сильного DPIBОн доказывает, что середина контекста имеет нулевую пропускную способностьCЭто эмпирическая позиционная чувствительность; её нельзя без дополнительной модели объявлять следствием теоремы о каналеDЕго полностью объясняет размер head_dim

A) Эффект математически следует из сильного DPI

B) Он доказывает, что середина контекста имеет нулевую пропускную способность

C) Это эмпирическая позиционная чувствительность; её нельзя без дополнительной модели объявлять следствием теоремы о канале

D) Его полностью объясняет размер head_dim

Ответ и разбор

Правильный ответ: C. Механизм может зависеть от архитектуры, позиционного кодирования, данных и протокола задачи.

Вопрос 7.10.4

7.10. LLM как канал: точная постановка и границы аналогии

Почему веса внимания (attention weights) не являются автоматически переходными вероятностями канала?

Один правильный вариантAОни могут быть только отрицательнымиBВыход зависит также от векторов значений, остаточного потока, нескольких голов и последующих нелинейностей; нормировка строки недостаточнаCИх сумма никогда не равна единицеDМеханизм внимания не использует softmax

A) Они могут быть только отрицательными

B) Выход зависит также от векторов значений, остаточного потока, нескольких голов и последующих нелинейностей; нормировка строки недостаточна

C) Их сумма никогда не равна единице

D) Механизм внимания не использует softmax

Ответ и разбор

Правильный ответ: B. Энтропия весов внимания характеризует концентрацию весов маршрутизации, но не равна числу переданных бит или причинному влиянию.

Вопрос 7.C.1

Вычислительный блок

У двоичного симметричного канала вероятность искажения $\varepsilon=0.2$ . Вычислите его пропускную способность в битах на использование канала. (допуск 0.002)

ОтветАбсолютный допуск: ±0.002

Ответ и разбор

Числовой ответ: 0.278 (допуск 0.002). Пропускная способность равна 1 − h₂(0.2) = 1 − 0.722 = 0.278 бита и достигается при равномерном входе. При ε = 0.5 она была бы нулевой, а при ε = 1 возвращается к целому биту — то есть по вероятности искажения она не монотонна.

Вопрос 7.C.2

Вычислительный блок

Двоичный канал со стиранием стирает каждый символ с вероятностью $0.3$ . Вычислите его пропускную способность в битах на использование канала. (допуск 0.002)

ОтветАбсолютный допуск: ±0.002

Ответ и разбор

Числовой ответ: 0.7 (допуск 0.002). Пропускная способность равна 1 − 0.3 = 0.7 бита. Сравните с BSC выше: стирание, которое объявляет о себе, обходится намного дешевле инверсии той же вероятности, потому что приёмник знает, какие позиции ненадёжны.

Вопрос 7.C.3

Вычислительный блок

В AWGN-канале отношение мощностей сигнала и шума равно $P/N=7$ . Вычислите пропускную способность в битах на одно вещественное использование канала. (допуск 0.002)

ОтветАбсолютный допуск: ±0.002

Ответ и разбор

Числовой ответ: 1.5 (допуск 0.002). Пропускная способность равна ½ log₂(1 + 7) = ½ · 3 = 1.5 бита. Множитель одна вторая относится к одному вещественному дискретному использованию канала; формула с полосой в битах в секунду использует другую нормировку.

Вопрос 7.C.4

Вычислительный блок

Z-канал переводит вход 1 в выход 0 с вероятностью $\alpha=0.25$ , а вход 0 оставляет без изменений. Оптимальный вход использует символ 1 с вероятностью примерно $0.4278$ . Вычислите пропускную способность в битах на использование канала. (допуск 0.003)

ОтветАбсолютный допуск: ±0.003

Ответ и разбор

Числовой ответ: 0.558 (допуск 0.003). Пропускная способность составляет около 0.558 бита. Обратите внимание, что оптимальный вход не равномерен: уязвимый символ используется реже половины случаев, потому что канал обращается с двумя входами несимметрично.