Пропускная способность дискретного канала связи. Пропускная способность дискретного канала связи с шумами. Пропускная способность дискретного канала без помех

2.1 Дискретный канал связи без помех

Если помехи в канале связи отсутствуют, то входные и выходные сигналы канала связаны однозначной, функциональной зависимостью.

При этом условная энтропия равна нулю, а безусловные энтропии источника и приемника равны, т.е. среднее количество информации в принятом символе относительно переданного равно

I (X, Y) = H(X) = H(Y); H (X/Y) = 0.

Если Х Т – количество символов за время T, то скорость передачи информации для дискретного канала связи без помех равна

где V = 1/ – средняя скорость передачи одного символа.

Пропускная способность для дискретного канала связи без помех

(7)

Т.к. максимальная энтропия соответствует для равновероятных символов, то пропускная способность для равномерного распределения и статистической независимости передаваемых символов равна:

. (8)

Первая теорема Шеннона для канала: Если поток информации, вырабатываемый источником, достаточно близок к пропускной способности канала связи, т.е.

, где - сколь угодно малая величина,

то всегда можно найти такой способ кодирования, который обеспечит передачу всех сообщений источника, причем скорость передачи информации будет весьма близкой к пропускной способности канала.

Теорема не отвечает на вопрос, каким образом осуществлять кодирование.

Пример 1. Источник вырабатывает 3 сообщения с вероятностями:

p 1 = 0,1; p 2 = 0,2 и p 3 = 0,7.

Сообщения независимы и передаются равномерным двоичным кодом (m = 2) с длительностью символов, равной 1 мс. Определить скорость передачи информации по каналу связи без помех.

Решение: Энтропия источника равна

Для передачи 3 сообщений равномерным кодом необходимо два разряда, при этом длительность кодовой комбинации равна 2t.

Средняя скорость передачи сигнала

V =1/2t = 500 .

Скорость передачи информации

C = vH = 500×1,16 = 580 [бит/с].

2.2 Дискретный канал связи с помехами

Мы будем рассматривать дискретные каналы связи без памяти.

Каналом без памяти называется канал, в котором на каждый передаваемый символ сигнала, помехи воздействуют, не зависимо от того, какие сигналы передавались ранее. То есть помехи не создают дополнительные коррелятивные связи между символами. Название «без памяти» означает, что при очередной передаче канал как бы не помнит результатов предыдущих передач.

При наличии помехи среднее количество информации в принятом символе сообщении – Y, относительно переданного – X равно:

Для символа сообщения X T длительностиT, состоящего из n элементарных символов среднее количество информации в принятом символе сообщении – Y T относительно переданного – X T равно:

I(Y T , X T) = H(X T) – H(X T /Y T) = H(Y T) – H(Y T /X T) = n }