Пропускная способность непрерывного канала связи. Пропускная способность каналов связи
В дискретной системе связи при отсутствии помех информация на выходе канала связи (канала ПИ) полностью совпадает с информацией на его входе, поэтому скорость передачи информации численно равна производительности источника сообщений:
При наличии помех часть информации источника теряется и скорость передачи информации оказывается меньшей, чем производительность источника. Одновременно в сообщение на выходе канала добавляется информация о помехах (рис.5).
Поэтому при наличии помех необходимо учитывать на выходе канала не всю информацию, даваемую источником, а только взаимную информацию:
бит/с. (22)
На основании формулы (20) имеем
где H¢(x) - производительность источника;
H¢(x/y) - "ненадёжность" канала(потери) в единицу времени;
H¢(y) - энтропия выходного сообщения в единицу времени;
H¢(y/x) =H’(n) –энтропия помех (шума) в единицу времени.
Пропускной способностью канала связи (канала передачи информации) C называется максимально возможная скорость передачи информации по каналу
.
(24)
Для достижения максимума учитываются все возможные источники на выходе и все возможные способы кодирования.
Таким образом, пропускная способность канала связи равна максимальной производительности источника на входе канала, полностью согласованного с характеристиками этого канала, за вычетом потерь информации в канале из-за помех.
В канале без помех C=max H¢(x) , так как H¢(x/y)=0 . При использовании равномерного кода с основанием k , состоящего из n элементов длительностью tэ , в канале без помех
,
при k =2 бит/c. (25)
Для эффективного использования пропускной способности канала необходимо его согласование с источником информации на входе. Такое согласование возможно как для каналов связи без помех, так и для каналов с помехами на основании двух теорем, доказанных К.Шенноном.
1-ая теорема (для канала связи без помех):
Если источник сообщений имеет энтропию H (бит на символ), а канал связи – пропускную способность C (бит в секунду), то можно закодировать сообщения таким образом, чтобы передавать информацию по каналу со средней скоростью, сколь угодно близкой к величине C, но не превзойти её.
К.Шеннон предложил и метод такого кодирования, который получил название статистического или оптимального кодирования. В дальнейшем идея такого кодирования была развита в работах Фано и Хаффмена и в настоящее время широко используется на практике для “cжатия сообщений”.
2-ая теорема (для каналов связи с помехами):
Если пропускная способность
канала равна C, а производительность источника H’(x)
Не существует способа кодирования, обеспечивающего ненадёжность, меньшую, чем H"(x)-C.
К сожалению, теорема К.Шеннона для каналов с шумами(помехами) указывает только на возможность такого кодирования, но не указывает способа построения соответствующего кода. Однако известно, что при приближении к пределу, устанавливаемому теоремой Шеннона, резко возрастает время запаздывания сигнала в устройствах кодирования и декодирования из-за увеличения длины кодового слова n . При этом вероятность ошибки на выходе канала стремится к величине
. (26)
Cледовательно, имеет место “обмен” верности передачи на скорость и задержку передачи.
Вопросы- Что такое пропускная способность канала связи, как она определяется?
- Чему равна пропускная способность канала связи без помех?
- Как влияют помехи на величину пропускной способности?
- Что утверждает теорема Шеннона для канала связи без помех?
- Что утверждает теорема Шеннона для канала связи с помехами?
5.2. Пропускная способность канала связи.
Характеристики системы связи в значительной мере зависят от параметров канала вязи, который используется для передачи сообщений. Исследуя пропускную способность канала мы предполагали, что их параметры сохраняются постоянными. Однако большинство реальных каналов обладают переменными параметрами. Параметры канала, как правило изменяются во времени случайным образом. Случайные изменения коэффициента передачи канала m вызывают замирания сигнала, что эквивалентно воздействию мультипликативной помехи
Однородный симметричный канал связи полностью определяется алфавитом передаваемого сообщения, скоростью передачи элементов сообщения u и вероятностью ошибочного приема элемента сообщения р (вероятностью ошибки).
Пропускная способность канала будет вычисляться по формуле:
в частном случае для двоичного канала (m=2) получим формулу:
, где р =0,003, t=15 10 -6
Сравнивая пропускную способность канала связи и производительность источника (после оптимального кодирования) можем сделать вывод, что условие К.Шеннона выполняется, т.е. производительность источника меньше пропускной способности канала, что позволит нам передавать информацию по данному каналу связи. Для некодированного источника это условие выполняется также, т.к. производительность некодированного источника меньше производительности оптимально закодированного источника.
6. Помехоустойчивое кодирование.
При передаче цифровых данных по каналу с шумом всегда существует вероятность того, что принятые данные будут содержать некоторый уровень частоты появления ошибок. Получатель как правило устанавливает некоторый уровень частоты появления ошибок, при превышении которого принятые данные использовать нельзя. Если частота ошибок в принимаемых данных превышает допустимый уровень, то можно использовать кодирование с исправлением ошибок., которое позволяет уменьшить частоту ошибок до приемлемой.
Кодирование с обнаружением и исправлением ошибок как правило связано с понятием избыточности кода, что приводит в конечном итоге к снижению скорости передачи информационного потока по тракту связи. Избыточность заключается в том, что цифровые сообщения содержат дополнительные символы, обеспечивающие индивидуальность каждого кодового слова. Вторым свойством связанным с помехоустойчивым кодированием является усреднение шума. Этот эффект заключается в том, что избыточные символы зависят от нескольких информационных символов.
При увеличении длинны кодового блока (т.е. количества избыточных символов) доля ошибочных символов в блоке стремиться к средней частоте ошибок в канале. Обрабатывая символы блоками, а не одного за другим можно добиться снижения общей частоты ошибок и при фиксированной вероятности ошибки блока долю ошибок, которые нужно исправлять.
Все известные в настоящее время коды могут быть разделены на две большие группы: блочные и непрерывные. Блочные коды характеризуются тем, что последовательность передаваемых символов разделена на блоки. Операции кодирования и декодирования в каждом блоке производится отдельно. Непрерывные коды характеризуются тем, что первичная последовательность символов, несущих информацию, непрерывно преобразуется по определенному закону в другую последовательность, содержащую избыточное число символов. При этом процессы кодирования и декодирования не требует деления кодовых символов на блоки.
Разновидностями как блочных, так и непрерывных кодов являются разделимые (с возможностью выделения информационных и контрольных символов) и неразделимые коды. Наиболее многочисленным классом разделимых кодов составляют линейные коды. Их особенность состоит в том, что контрольные символы образуются как линейные комбинации информационных символов.
6.1. Принцип обнаружения и исправления ошибок.
Корректирующие коды строятся так, чтобы количество комбинаций М превышало число сообщений М 0 источника. Однако в этом случае используется лишь М 0 комбинаций источника из общего числа для передачи информации. Такие комбинации называются разрешенными, а остальные – запрещенными М-М 0 . Приемнику известны все разрешенные и запрещенные комбинации, поэтому, если при приеме некоторого разрешенного сообщения в результате ошибки это сообщение попадает в разряд запрещенных, то такая ошибка будет обнаружена, а при определенных условиях исправлена. Следует заметить, что при ошибке, приводящей к появлению другого разрешенного сигнала, такая ошибка не обнаружима.
Расстоянием Хемминга d между двумя последовательностями называется число позиций, в которых две последовательности отличаются друг от друга. Наименьшее значение d для всех пар кодовых последовательностей называется кодовым расстоянием.
Ошибка обнаруживается всегда, если её кратность, т.е. число искаженных символов в кодовой комбинации: g
Исправление ошибок в процессе декодирования сводится к определению переданной комбинации по известной принятой. Расстояние между переданной разрешенной комбинацией и принятой запрещенной комбинацией d 0 равно кратности ошибок g. Если ошибки в символах комбинации происходят независимо относительно друг друга, то вероятность искажения некоторых g символов в n-значной комбинации будет равна:
6.1. Коды с обнаружением ошибок.
Одним из кодов подобного типа является код с четным числом единиц. Каждая комбинация этого кода содержит помимо информационных символов – один контрольный, выбираемый равный 0 или 1 так, чтобы сумма количества единиц в комбинации всегда была четной.
Простейшим примером кода с проверкой на четность является код Бодо, в котором к пятизначным комбинациям информационных символов добавляется шестой контрольный символ: 11001,1; 10001,0. Правило вычисления контрольного символа находится как:
откуда вытекает, что для любой комбинации сумма всех символов по модулю два будет равна нулю. Это позволяет в декодирующем устройстве сравнительно просто производить обнаружение ошибок путем проверки на четность. Нарушение четности имеет место при появлении однократных, трехкратных и в общем случае нечетной кратности, что и дает возможность их обнаружить. Появление четных ошибок не изменяет четности суммы, поэтому такие ошибки не обнаруживаются.
Определим избыточность кода:
k=6 – число символов в помехоустойчивом коде
n=5 – число символов без избыточности
Заключение
В данной работе было рассмотрено:
1. Система когерентного приемника с ФМ. Рассчитав параметры и сравнив полученные в результате расчетов данные с другими системами приема сигналов выявлены некоторые преимущества и недостатки данной системы передачи и приема информационных сообщений. Также было проведено сравнение с идеальным приемником Котельникова, обеспечивающим потенциальную помехоустойчивость. Отмечено как можно улучшить характеристики приемника с помощью согласованных фильтров.
2. Передача непрерывных аналоговых сигналов цифровыми методами. Произведен анализ и сравнение дискретных методов (АИМ, ШИМ, ВИМ) с цифровым методом передачи непрерывных аналоговых сигналов ИКМ. Отмечены преимущества цифровых методов передачи информации по сравнению с аналоговыми.
3. Кодирование сообщений. Сравнивались и определялись характеристики статистического (эффективного кодирования) по сравнению с помехоустойчивым (избыточным) кодированием. Была определена пропускная способность канала связи и установлено, что данная система является работоспособной (т.е. выполняется условие К.Шеннона).
При рассмотрении передачи и приема сигналов методом ИКМ с кодированием сообщений, можно сделать вывод, что для повышения качества получаемых сообщений следует применять помехоустойчивое кодирование. Рассмотренный метод помехоустойчивого кодирования является самым простейшим. Для более эффективного использования канала связи нужно использовать более совершенные алгоритмы кодирования сообщений.
Литература
1. Зюко А.Г., Коробов Ю.Ф. Теория передачи сигналов – М.Связь 1972.
2. Б.Н.Бондарев, А.А.Макаров “Основы теории передачи сигналов” Новосибирск – 1969 г.
3. Э.Прагер, Б.Шимек, В.П.Дмитриев – “Цифровая техника в связи” – М. Радио и связь.
Пропускная способность систем передачи информации
Одной из основных характеристик любой системы передачи информации, кроме перечисленных выше, является ее пропускная способность.
Пропускная способность – максимально возможное количество полезной информации, передаваемое в единицу времени:
c = max{Imax} / TC ,
c = [бит/с].
Иногда скорость передачи информации определяют как максимальное количество полезной информации в одно элементарном сигнале:
s = max{Imax} / n,
s = [бит/элемент].
Рассмотренные характеристики зависят только от канала связи и его характеристик и не зависят от источника.
Пропускная способность дискретного канала связи без помех. В канале связи без помех информацию можно передавать неизбыточным сигналом. При этом число n = m, а энтропия элементарного сигнала HCmax = logK.
max{IC} = nHCmax= mHCmax .
Длительность элементарного сигнала , где – длительность элементарного сигнала.
где FC – спектр сигнала.
Пропускная способность канала связи без помех
Введем понятие скорости генерации элементарного сигнала источником информации:
Тогда, используя новое понятие, можно преобразовать формулу для скорости передачи информации:
Полученная формула определяет максимально возможную скорость передачи информации в дискретном канале связи без помех. Это следует из предположения о том, что энтропия сигнала максимальна.
Если HC < HCmax, то c = BHC и не является максимально возможной для данного канала связи.
Пропускная способность дискретного канала связи с помехами. В дискретном канале связи с помехами наблюдается ситуация, изображенная на рис. 6.
Учитывая свойство аддитивности, а также формулы Шеннона для определения количества информации, рассмотренные выше, можно записать
IC = TC FC log(AK PC),
IПОМ = TП FП log(APП).
Для получателя источник полезной информации и источник помехи равноценны, поэтому нельзя на приемной стороне выделить составляющую помехи в сигнале с результирующей информацией
IРЕЗ = TC FC log(AK (PП + PC)), если TC = TП, FC = FП.
Приемник может быть узкополосным, а помеха находиться в других интервалах частот. В этом случае она не будет влиять на сигнал.
Будем определять результирующий сигнал для наиболее “неприятного” случая, когда параметры сигнала и помехи близки друг к другу или совпадают. Полезная информация определяется выражением
Эта формула получена Шенноном. Она определяет скорость передачи информации по каналу связи в случае, если сигнал имеет мощность PC, а помеха – мощность PП. Все сообщения при такой скорости передадутся с абсолютной достоверностью. Формула не содержит ответа на вопрос о способе достижения такой скорости, но дает максимально возможное значение с в канале связи с помехами, то есть такое значение скорости передачи, при которой полученная информация будет абсолютно достоверной. На практике экономичнее допустить определенную долю ошибочности сообщения, хотя скорость передачи при этом увеличится.
Рассмотрим случай PC >> PП. Если ввести понятие отношения сигнал/шум
PC >> PП означает, что . Тогда
Полученная формула отражает предельную скорость мощного сигнала в канале связи. Если PC << PП, то с стремится к нулю. То есть сигнал принимается на фоне помех. В таком канале в единицу времени сигнал получить не удается. В реальных ситуациях полностью помеху отфильтровать нельзя. Поэтому приемник получает полезную информацию с некоторым набором ошибочных символов. Канал связи для такой ситуации можно представить в виде, изображенном на рис. 7, приняв источник информации за множество передаваемых символов {X}, а приемник – за множество получаемых символов {Y}.
Рис.7 Граф переходных вероятностей K- ичного канала связи
Между существует определенное однозначное соответствие. Если помех нет, то вероятность однозначного соответствия равна единице, в противном случае она меньше единицы.
Если qi – вероятность принятия yi за xi, a pij = p{yi / xi} – вероятность ошибки, то
.
Граф переходных вероятностей отражает конечный результат влияния помехи на сигнал. Как правило, он получается экспериментально.
Полезная информация может быть оценена как IПОЛ = nH(X · Y), где n – количество элементарных символов в сигнале; H(X · Y) – взаимная энтропия источника X и источника Y.
В данном случае источником X является источник полезной информации, а источником Y является приемник. Соотношение, определяющее полезную информацию, можно получить исходя из смысла взаимной энтропии: заштрихованный участок диаграммы определяет сообщения, переданные источником Xи полученные приемником Y; незаштрихованные участки отображают сигналы источника X, не дошедшие до приемника и полученные приемником посторонние сигналы, не передаваемые источником.
B – скорость генерации элементарных символов на выходе источника.
Для получения max нужно по возможности увеличить H(Y) и уменьшить H(Y/X). Графически эта ситуация может быть представлена совмещением кругов на диаграмме (Рис. 2г).
Если же круги вообще не пересекаются, X и Y существуют независимо друг от друга. В дальнейшем будет показано, как можно использовать общее выражение для максимальной скорости передачи при анализе конкретных каналов связи.
Характеризуя дискретный канал, используют два понятия скорости: техническая и информационная.
Под технической скоростью передачи RT, называемой также скоростью манипуляции, подразумевают число символов (элементарных сигналов), передаваемых по каналу в единицу времени. Она зависит от свойств линии связи и быстродействия аппаратуры канала.
С учетом различий в длительности символов техническая скорость определяется как
где - среднее время длительности символа.
Единицей измерения служит »бод» - это скорость, при которой за одну секунду передается один символ.
Информационная скорость или скорость передачи информации определяется средним количеством информации, которое передается по каналу за единицу времени. Она зависит как от характеристик конкретного канала (таких как объем алфавита используемых символов, технической скорости их передачи, статистического свойства помех в линии), так и от вероятностей поступающих на вход символов и их статистической взаимосвязи.
При известной скорости манипуляции скорость передачи информации по каналу задается соотношением:
,
где – среднее количество информации, переносимое одним символом.
Для практики важно выяснить, до какого предела и каким путем можно повысить скорость передачи информации по конкретному каналу. Предельные возможности канала по передаче информации характеризуются его пропускной способностью.
Пропускная способность канала с заданными переходными вероятностями равна максимуму передаваемой информации по всем входным распределениям символов источника X:
С математической точки зрения поиск пропускной способности дискретного канала без памяти сводится к поиску распределения вероятностей входных символов источника Х, обеспечивающего максимум переданной информации . При этом, на вероятности входных символов накладывается ограничение: 
, .
В общем случае, определение максимума при заданных ограничениях возможно с помощью мультипликативного метода Лагранжа. Однако такое решение требует чрезмерно больших затрат.
В частном случае для дискретных симметричных каналов без памяти пропускная способность (максимум , достигается при равномерном распределении входных символов источника X.
Тогда для ДСК без памяти, считая заданной вероятность ошибки ε и для равновероятных входных символов = = = =1/2, можно получить пропускную способность такого канала по известному выражению для :
где = – энтропия двоичного симметричного канала при заданной вероятности ошибки ε.
Интерес представляют граничные случаи:
1. Передача информации по бесшумному каналу (без помех):
, [бит/символ].
При фиксированных основных технических характеристиках канала (например, полосе частот, средней и пиковой мощности передатчика), которые определяют значение технической скорости, пропускная способность канала без помех будет равна [бит/сек].
Ранее мы рассмотрели кодирование и передачу информации по каналу связи в идеальном случае, когда процесс передачи информации осуществляется без ошибок. В действительности этот процесс неизбежно сопровождается ошибками (искажениями). Канал передачи, в котором возможны искажения, называется каналом с помехами (или шумами). В частном случае ошибки возникают в процессе самого кодирования, и тогда кодирующее устройство может рассматриваться как канал с помехами.
Наличие помех приводит к потере информации. Чтобы в условиях наличия помех получить на приемнике требуемый объем информации, необходимо принимать специальные меры. Одной из таких мер является введение так называемой «избыточности» в передаваемые сообщения; при этом источник информации выдает заведомо больше символов, чем это было бы нужно при отсутствии помех. Одна из форм введения избыточности – простое повторение сообщения. Таким приемом пользуются, например, при плохой слышимости по телефону, повторяя каждое сообщение дважды. Другой общеизвестный способ повышения надежности передачи состоит в передаче слова «по буквам» – когда вместо каждой буквы передается хорошо знакомое слово (имя), начинающееся с этой буквы.
Пропускная способность канала, когда число элементарных символов более двух и когда искажения отдельных символов зависимы может быть определена с помощью второй теоремы Шеннона. Зная пропускную способность канала, можно определить верхний предел скорости передачи информации по каналу с помехами.
Рассмотрим на примере: Пусть имеется источник информации Х, энтропия которого в единицу времени равна , и канал с пропускной способностью Х. Тогда если
то при любом кодировании передача сообщений без задержек и искажений невозможна.
то всегда можно достаточно длинное сообщение закодировать так, чтобы оно было передано без задержек и искажений с вероятностью, сколь угодно близкой к единице.
Задача 2 : Выяснить, достаточна ли пропускная способность каналов для передачи информации, поставляемой источником, если имеются источник информации с энтропией в единицу времени =110 (дв. ед.) и количество каналов связи n = 2 , каждый из них может передавать в единицу времени К = 78 двоичных знаков (0 или 1); каждый двоичный знак заменяется противоположным с вероятностью μ=0.17 .
η(μ) = 0,434587
η(1 – μ) = 0,223118
η(μ) + η(1 – μ) = 0,434587 + 0,223118 = 0,657688
На один символ теряется информация 0,584239 (дв. ед.).
Пропускная способность канала равна:
С = 78∙(1 – 0,657688) =26,7≈27 двоичных единиц в единицу времени.
Максимальное количество информации, которое может быть передано по двум каналам в единицу времени:
27∙2 = 54 (дв. ед.), чего не достаточно для обеспечения передачи информации от источника, так как источник передает 110 дв. ед. в единицу времени. Для обеспечения передачи информации в достаточном объеме и без искажения необходимо увеличить количество пропускных каналов связи до трех. Тогда максимальное количество информации, которое может быть передано по трем каналам в единицу времени:
3*54=162 двоичных единиц в единицу времени. 162>110, следовательно информация будет передаваться без искажений.
Для передачи информации без задержек можно:
1. Использовать способ кодирования-декодирования;
2. Применять компандирование сигнала;
3. Увеличить мощность передатчика;
4. Применять дорогие линии связи с эффективным экранированием и малошумящей аппаратурой для снижения уровня помех;
5. Применять передатчики и промежуточную аппаратуру с низким уровнем шума;
6. Использовать для кодирования более двух состояний;
7. Применять дискретные системы связи с применением всех посылок для передачи информации.
©2015-2019 сайт
Все права принадлежать их авторам. Данный сайт не претендует на авторства, а предоставляет бесплатное использование.
Дата создания страницы: 2016-02-13
На рис. 1 приняты следующие обозначения: X, Y, Z, W – сигналы, сообщения; f – помеха; ЛС – линия связи; ИИ, ПИ – источник и приемник информации; П – преобразователи (кодирование, модуляция, декодирование, демодуляция).
Существуют различные типы каналов, которые можно классифицировать по различным признакам:
1.По типу линий связи: проводные; кабельные; оптико-волоконные;
линии электропередачи; радиоканалы и т.д.
2. По характеру сигналов: непрерывные; дискретные; дискретно-непрерывные (сигналы на входе системы дискретные, а на выходе непрерывные, и наоборот).
3. По помехозащищенности: каналы без помех; с помехами.
Каналы связи характеризуются:
1. Емкость канала определяется как произведениевремени использования канала T к, ширины спектра частот, пропускаемых каналом F к и динамического диапазона D к . , который характеризует способность канала передавать различные уровни сигналов
V к = T к F к D к. (1)
Условие согласования сигнала с каналом:
V c £ V k ; T c £ T k ; F c £ F k ; V c £ V k ; D c £ D k .
2.Скорость передачи информации – среднее количество информации, передаваемое в единицу времени.
3.
4. Избыточность – обеспечивает достоверность передаваемой информации (R = 0¸1).
Одной из задач теории информации является определение зависимости скорости передачи информации и пропускной способности канала связи от параметров канала и характеристик сигналов и помех.
Канал связи образно можно сравнивать с дорогами. Узкие дороги – малая пропускная способность, но дешево. Широкие дороги – хорошая пропускная способность, но дорого. Пропускная способность определяется самым «узким» местом.
Скорость передачи данных в значительной мере зависит от передающей среды в каналах связи, в качестве которых используются различные типы линий связи.
Проводные:
1. Проводные – витая пара (что частично подавляет электромагнитное излучение других источников). Скорость передачи до 1 Мбит/с. Используется в телефонных сетях и для передачи данных.
2. Коаксиальный кабель. Скорость передачи 10–100 Мбит/с – используется в локальных сетях, кабельном телевидении и т.д.
3. Оптико-волоконная. Скорость передачи 1 Гбит/с.
В средах 1–3 затухание в дБ линейно зависит от расстояния, т.е. мощность падает по экспоненте. Поэтому через определенное расстояние необходимо ставить регенераторы (усилители).
Радиолинии:
1.Радиоканал. Скорость передачи 100–400 Кбит/с. Использует радиочастоты до 1000 МГц. До 30 МГц за счет отражения от ионосферы возможно распространение электромагнитных волн за пределы прямой видимости. Но этот диапазон сильно зашумлен (например, любительской радиосвязью). От 30 до 1000 МГц – ионосфера прозрачна и необходима прямая видимость. Антенны устанавливаются на высоте (иногда устанавливаются регенераторы). Используются в радио и телевидении.
2.Микроволновые линии. Скорости передачи до 1 Гбит/с. Используют радиочастоты выше 1000 МГц. При этом необходима прямая видимость и остронаправленные параболические антенны. Расстояние между регенераторами 10–200 км. Используются для телефонной связи, телевидения и передачи данных.
3. Спутниковая связь . Используются микроволновые частоты, а спутник служит регенератором (причем для многих станций). Характеристики те же, что у микроволновых линий.
2. Пропускная способность дискретного канала связи
Дискретный канал представляет собой совокупность средств, предназначенных для передачи дискретных сигналов .
Пропускная способность канала связи – наибольшая теоретически достижимая скорость передачи информации при условии, что погрешность не превосходит заданной величины.Скорость передачи информации – среднее количество информации, передаваемое в единицу времени. Определим выражения для расчета скорости передачи информации и пропускной способности дискретного канала связи.
При передаче каждого символа в среднем по каналу связи проходит количество информации, определяемое по формуле
I (Y, X) = I (X, Y) = H(X) – H (X/Y) = H(Y) – H (Y/X) , (2)
где: I (Y, X) – взаимная информация, т.е.количество информации, содержащееся в Y относительно X ; H(X) – энтропия источника сообщений; H (X/Y) – условная энтропия, определяющая потерю информации на один символ, связанную с наличием помех и искажений.
При передаче сообщения X T длительности T, состоящего из n элементарных символов, среднее количество передаваемой информации с учетом симметрии взаимного количества информации равно:
I(Y T , X T) = H(X T) – H(X T /Y T) = H(Y T) – H(Y T /X T) = n . (4)
Скорость передачи информации зависит от статистических свойств источника, метода кодирования и свойств канала.
Пропускная способность дискретного канала связи
. (5)
Максимально-возможное значение, т.е. максимум функционала ищется на всем множестве функций распределения вероятности p(x) .
Пропускная способность зависит от технических характеристик канала (быстродействия аппаратуры, вида модуляции, уровня помех и искажений и т.д.). Единицами измерения пропускной способности канала являются: , , , .
2.1 Дискретный канал связи без помех
Если помехи в канале связи отсутствуют, то входные и выходные сигналы канала связаны однозначной, функциональной зависимостью.
При этом условная энтропия равна нулю, а безусловные энтропии источника и приемника равны, т.е. среднее количество информации в принятом символе относительно переданного равно
I (X, Y) = H(X) = H(Y); H (X/Y) = 0.
Если Х Т – количество символов за время T , то скорость передачи информации для дискретного канала связи без помех равна
(6)где V = 1/ – средняя скорость передачи одного символа.
Пропускная способность для дискретного канала связи без помех
(7)
Т.к. максимальная энтропия соответствует для равновероятных символов, то пропускная способность для равномерного распределения и статистической независимости передаваемых символов равна:
. (8)
Первая теорема Шеннона для канала:Если поток информации, вырабатываемый источником, достаточно близок к пропускной способности канала связи, т.е.
, где - сколь угодно малая величина,
то всегда можно найти такой способ кодирования, который обеспечит передачу всех сообщений источника, причем скорость передачи информации будет весьма близкой к пропускной способности канала.
Теорема не отвечает на вопрос, каким образом осуществлять кодирование.
Пример 1. Источник вырабатывает 3 сообщения с вероятностями:
p 1 = 0,1; p 2 = 0,2 и p 3 = 0,7.
Сообщения независимы и передаются равномерным двоичным кодом (m = 2 ) с длительностью символов, равной 1 мс. Определить скорость передачи информации по каналу связи без помех.
Решение: Энтропия источника равна
[бит/с].
Для передачи 3 сообщений равномерным кодом необходимо два разряда, при этом длительность кодовой комбинации равна 2t.
Средняя скорость передачи сигнала
V =1/2 t = 500 .
Скорость передачи информации
C = vH = 500 × 1,16 = 580 [бит/с].
2.2 Дискретный канал связи с помехами
Мы будем рассматривать дискретные каналы связи без памяти.
Каналом без памяти называется канал, в котором на каждый передаваемый символ сигнала, помехи воздействуют, не зависимо от того, какие сигналы передавались ранее. То есть помехи не создают дополнительные коррелятивные связи между символами. Название «без памяти» означает, что при очередной передаче канал как бы не помнит результатов предыдущих передач.