Семантическая мера информация. Синтаксическая мера информации

Тема 2. Основы представления и обработки информации в компьютере

Литература

1. Информатика в экономике: Учебное пособие/Под ред. Б.Е. Одинцова, А.Н. Романова. – М.: Вузовский учебник, 2008.

2. Информатика: Базовый курс: Учебное пособие/Под ред. С.В. Симоновича. – СПб.: Питер, 2009.

3. Информатика. Общий курс: Учебник/Соавт.: А.Н. Гуда, М.А. Бутакова, Н.М. Нечитайло, А.В. Чернов; Под общ. ред. В.И. Колесникова. – М.: Дашков и К, 2009.

4. Информатика для экономистов: Учебник/Под ред. Матюшка В.М. - М.: Инфра-М, 2006.

5. Экономическая информатика: Введение в экономический анализ информационных систем.- М.: ИНФРА-М, 2005.

Меры информации (синтаксическая, семантическая, прагматическая)

Для измерения информации могут применяться различные подходы, но наибольшее распространение получили статистический (вероятностный), семантический и прагматический методы.

Статистический (вероятностный) метод измерения информации был разработан К. Шенноном в 1948 году, который предложил количество информации рассматривать как меру неопределенности состояния системы, снимаемой в результате получения информации. Количественно выраженная неопределенность получила название энтропии. Если после получения некоторого сообщения наблюдатель приобрел дополнительную информацию о системе Х, то неопределенность уменьшилась. Дополнительно полученное количество информации определяется как:

где - дополнительное количество информации о системе Х , поступившее в форме сообщения;

Начальная неопределенность (энтропия) системы X ;

Конечная неопределенность (энтропия) системы X, наступившая после получения сообщения.

Если система X может находиться в одном из дискретных состояний, количество которых n , а вероятность нахождения системы в каждом из них равна и сумма вероятностей всех состояний равна единице, то энтропия вычисляется по формуле Шеннона:

где - энтропия системы Х;

а - основание логарифма, определяющее единицу измерения информации;

n – количество состояний (значений), в котором может находится система.

Энтропия величина положительная, а так как вероятности всегда меньше единицы, а их логарифм отрицательный, поэтому знак минус в формуле К.Шеннона делает энтропию положительной. Таким образом, за меру количества информации принимается та же энтропия, но с обратным знаком.

Взаимосвязь информации и энтропии можно понимать следующим образом: получение информации (ее увеличение) одновременно означает уменьшение незнания или информационной неопределенности (энтропии)

Таким образом, статистический подход учитывает вероятность появления сообщений: более информативным считается то сообщение, которое менее вероятно, т.е. менее всего ожидалось. Количество информации достигает максимального значения, если события равновероятны.

Р. Хартли предложил следующую формулу для измерения информации:

I=log2n ,

где n - количество равновероятных событий;

I – мера информации в сообщении о наступлении одного из n событий

Измерение информации выражается в ее объёме. Чаще всего это касается объёма компьютерной памяти и объёма данных, передаваемых по каналам связи. За единицу принято такое количество информации, при котором неопределённость уменьшается в два раза, такая единица информации получила название бит .

Если в качестве основания логарифма в формуле Хартли используется натуральный логарифм (), то единицей измерения информации является нат (1 бит = ln2 ≈ 0,693 нат). Если в качестве основания логарифма используется число 3, то - трит , если 10, то - дит (хартли).

На практике чаще применяется более крупная единица - байт (byte ), равный восьми битам. Такая единица выбрана потому, что с ее помощью можно закодировать любой из 256 символов алфавита клавиатуры компьютера (256=28).

Кроме байтов информация измеряется полусловами (2 байта), словами (4 байта) и двойными словами (8 байт). Широко используются также еще более крупные единицы измерения информации:

1 Килобайт (Кбайт - kilobyte ) = 1024 байт = 210 байт,

1 Мегабайт (Мбайт - megabyte ) = 1024 Кбайт = 220 байт,

1 Гигабайт (Гбайт - gigabyte ) = 1024 Мбайт = 230 байт.

1 Терабайт (Тбайт - terabyte ) = 1024 Гбайт = 240 байт,

1 Петабайт (Пбайт - petabyte ) = 1024 Тбайт = 250 байт.

В 1980 году российский математик Ю. Манин предложил идею построения квантового компьютера, в связи с чем появилась такая единица информации как кубит (quantum bit, qubit) – «квантовый бит» – мера измерения объема памяти в теоретически возможном виде компьютера, использующем квантовые носители, например - спины электронов. Кубит может принимать не два различных значения («0» и «1»), а несколько, соответствующих нормированным комбинациям двух основных состояний спина, что дает большее число возможных сочетаний. Так, 32 кубита могут закодировать около 4 млрд состояний.

Семантический подход. Синтаксической меры не достаточно, если требуется определить не объем данных, а количество нужной в сообщении информации. В этом случае рассматривается семантический аспект, позволяющий определить содержательную сторону сведений.

Для измерения смыслового содержания информации можно воспользоваться тезаурусом ее получателя (потребителя). Идея тезаурусного метода была предложена Н. Винером и развита нашим отечественным ученым А.Ю. Шрейдером.

Тезаурусом называется совокупность сведений , которыми располагает получатель информации. Соотнесение тезауруса с содержанием поступившего сообщения позволяет выяснить, насколько оно снижает неопределенность..

Зависимость объема смысловой информации сообщения от тезауруса получателя

Согласно зависимости, представленной на графике, при отсутствии у пользователя какого-либо тезауруса (знаний о существе поступившего сообщении, то есть =0), или наличия такого тезауруса, который не изменился в результате поступления сообщения (), то объем семантической информации в нем равен нулю. Оптимальным будет такой тезаурус (), при котором объем семантической информации будет максимальным (). Например, семантической информации в поступившем сообщении на незнакомом иностранном языке будет ноль , но и такая же ситуация будет в том случае, если сообщение уже не является новостью, так как пользователю уже все известно.

Прагматическая мера информации определяет ее полезность в достижении потребителем своих целей. Для этого достаточно определить вероятность достижения цели до, и после получения сообщения и сравнить их. Ценность информации (по А.А. Харкевичу) рассчитывается по формуле:

где - вероятность достижения цели до получения сообщения;

Вероятность достижения цели поле получения сообщения;

Синтаксическая мера информации.

Данная мера количества информации оперирует с обезличенной информацией, не выражающей смыслового отношения к объекту. Объем данных Vд в этом случае в сообщении измеряется количеством символов (разрядов) в сообщении. В различных системах счисления один разряд имеет различный вес и соответственно меняется единица измерения данных.

К примеру, в двоичной системе счисления единица измерения - бит (bit-binary digit - двоичный разряд). Бит – это ответ на один двоичный вопрос (“да” или “нет”; “0” или “1”), передаваемый по каналам связи с помощью сигнала. Таким образом, содержащееся в сообщении количество информации в битах определяется количеством двоичных слов естественного языка, количеством знаков в каждом слове, количеством двоичных сигналов, необходимых для выражения каждого знака.

В современных ЭВМ наряду с минимальной единицей измерения данных “бит” широко используется укрупненная единица измерения “байт”, равная 8 бит. В десятичной системе счисления единица измерения “бит” (десятичный разряд).

Количество информации I на синтаксическом уровне невозможно определить без рассмотрения понятия неопределенности состояния системы (энтропии системы). Действительно, получение информации о какой-либо системе всегда связано с изменением степени неосведомленности получателя о состоянии этой системы, т.е. количество информации измеряется изменением (уменьшением) неопределенности состояния системы.

Коэффициент (степень) информативности (лаконичность) сообщения определяется отношением количества информации к объему данных, т.е.

Y= I / Vд, причем 0

С увеличением Y уменьшаются объемы работы по преобразованию информации (данных) в системе. Поэтому стремятся к повышению информативности, для чего разрабатываются специальные методы оптимального кодирования информации.

Семантическая мера информации

Для измерения смыслового содержания информации, т.е. ее количества на семантическом уровне, наибольшее признание получила тезаурусная мера, которая связывает семантические свойства информации со способностью пользователя принимать поступившее сообщение. Для этого используется понятие тезаурус пользователя.

Тезаурус - это совокупность сведений, которыми располагает пользователь или система.

В зависимости от соотношений между смысловым содержанием информации S и тезаурусом пользователя Sр изменяется количество семантической информации Iс, воспринимаемой пользователем и включаемой им в дальнейшем в свой тезаурус.

Характер такой зависимости показан на рис. 1. Рассмотрим два предельных случая, когда количество семантической информации Iс равно 0:

при Sр = 0 пользователь не воспринимает, не понимает поступающую информацию;

При Sр  пользователь все знает, и поступающая информация ему не нужна.

Эта мера количества информации оперирует с обезличенной информацией, не выражающей смыслового отношения к объекту. На синтаксическом уровне учитываются тип носителя и способ представления информации, скорость передачи и обработки, размеры кодов представления информации.

Объём данных (V Д) понимается в техническом смысле этого слова как информационный объём сообщения или как объём памяти, необходимый для хранения сообщения без каких-либо изменений.

Информационный объём сообщения измеряется в битах и равен количеству двоичных цифр (“0” и “1”), которыми закодировано сообщение.

В компьютерной практике слово “бит” используется также как единица измерения объёма памяти. Ячейка памяти размером в 1 бит может находиться в двух состояниях (“включено” и “выключено”) и в неё может быть записана одна двоичная цифра (0 или 1). Понятно, что бит - слишком маленькая единица измерения информации, поэтому пользуются кратными ей величинами. Основной единицей измерения информации является байт . 1 байт равен 8 битам. В ячейку размером в 1 байт можно поместить 8 двоичных цифр, то есть в одном байте можно хранить 256 = 2 8 различных чисел. Для измерения ещё бóльших объёмов информации используются такие величины:

Пример 1. Важно иметь представление, сколько информации может вместить килобайт, мегабайт или гигабайт

· При двоичном кодировании текста каждая буква, знак препинания, пробел занимают 1 байт.

· На странице книги среднего формата примерно 50 строк, в каждой строке около 60 символов, таким образом, полностью заполненная страница имеет объём 50 x 60 = 3000 байт ≈3 Килобайта.

· Вся книга среднего формата занимает ≈ 0,5 Мегабайт. Один номер четырёхстраничной газеты - 150 Килобайт. Если человек говорит по 8 часов в день без перерыва, то за 70 лет он наговорит около 10 Гигабайт информации.

· Один чёрно-белый кадр (при 32 градациях яркости каждой точки) содержит примерно 300 Кб информации, цветной кадр содержит уже около 1 Мб информации.

· Телевизионный фильм продолжительностью 1,5 часа с частотой 25 кадров в секунду - 135 Гб.

Количество информацииI на синтаксическом уровне определяется через понятие энтропии системы.

Пусть до получения информации потребитель имеет некоторые предварительные (априорные) сведения о системе α. Мерой его неосведомленности о системе является функция H(α), называемая энтропией системы, которая в то же время служит и мерой неопределенности состояния системы.

После получения некоторого сообщения β получатель приобрел некоторую дополнительную информацию I β (α), уменьшившую его априорную неосведомленность так, что неопределенность состояния системы после получения сообщения β стала H β (α).

Тогда количество информации I β (α) ξ системе, полученной в сообщении β, определится как

I β (α)=H(α)-H β (α).

т.е. количество информации измеряется изменением (уменьшением) неопределенности состояния системы. Если конечная неопределенность H β (α) обратится в нуль, то первоначальное неполное знание заменится полным знанием и количество информации I β (α)=H(α). Иными словами, энтропия системы Н(а) может рассматриваться как мера недостающей информации.

Энтропия H(α) системы α, имеющей N возможных состояний, согласно формуле Шеннона, равна:

где P i - вероятность того, что система находится в i-м состоянии. Для случая, когда все состояния системы равновероятны, т.е. их вероятности равны P i =, ее энтропия определяется соотношением

Пример 2. Часто информация кодируется числовыми кодами в той или иной системе счисления, особенно это актуально при представлении информации в компьютере. Естественно, что одно и то же количество разрядов в разных системах счисления может передать разное число состояний отображаемого объекта, что можно представить в виде соотношения

где N - число всевозможных отображаемых состояний;
m - основание системы счисления (разнообразие символов, применяемых в алфавите);
n -число разрядов (символов) в сообщении.

Допустим, что по каналу связи передается n-разрядное сообщение, использующее m различных символов. Так как количество всевозможных кодовых комбинаций будет N=m", то при равной вероятности появления любой из них количество информации, приобретенной абонентом в результате получения сообщения, будет

I = log N = n log m - формула Хартли.

Если в качестве основания логарифма принять m, то I = n. В данном случае количество информации (при условии полного априорного незнания абонентом содержания сообщения) будет равно объему данных I=V Д, полученных по каналу связи.

Наиболее часто используются двоичные и десятичные логарифмы. Единицами измерения в этих случаях будут соответственно бит и дит .

Коэффициент (степень) информативности (лаконичность) сообщения определяется отношением количества информации к объему данных, т.е.

Конец работы -

Эта тема принадлежит разделу:

Лекция 1. Введение. Понятие информатики

Структура информатики.. Информатика в широком смысле представляет собой единство разнообразных.. Информатику в узком смысле можно представить как состоящую из трех взаимосвязанных частей технических средств..

Если Вам нужно дополнительный материал на эту тему, или Вы не нашли то, что искали, рекомендуем воспользоваться поиском по нашей базе работ:

Что будем делать с полученным материалом:

Если этот материал оказался полезным ля Вас, Вы можете сохранить его на свою страничку в социальных сетях:

Все темы данного раздела:

Понятие информатики
Термин информатика возник в 60-х гг. во Франции для названия области, занимающейся автоматизированной обработкой информации с помощью электронных вычислительных машин. Французский

Информационное общество
Информационная культура - умение целенаправленно работать с информацией и использовать для ее получения, обработки и передачи компьютерной информационную технологию, современные те

История развития рынка информационных услуг
С середины 50-х гг. началось формирование устойчивого рынка информационных услуг. Основными поставщиками информационных услуг являлись: информационные службы академических, профессиональных и научн

Информация, сообщения, сигналы
Информация наряду с материей и энергией является первичным понятием нашего мира и поэтому в строгом смысле не может быть определена. Можно лишь перечислить ее основные свойства, например такие как:

Семантическая мера информации
Для измерения смыслового содержания информации, т.е. ее количества на семантическом уровне, наибольшее признание получила тезаурусная мера, которая связывает семантические свойства информации со сп

Прагматическая мера информации
Эта мера определяет полезность информации (ценность) для достижения пользователем поставленной цепи. Эта мера также величина относительная, обусловленная особенностями использования этой информации

Качественные характеристики информации
Возможность и эффективность использования информации обусловливаются такими основными ее потребительскими показателями качества, как репрезентативность, содержательность, достаточн

Кодирование текстовой информации
В настоящее время большая часть пользователей при помощи компьютера обрабатывает текстовую информацию, которая состоит из символов: букв, цифр, знаков препинания и др. Традиционно, для тог

Кодирование графической информации
Графическую информацию можно представлять в двух формах: аналоговой или дискретной. Живописное полотно, цвет которого изменяется непрерывно - это при

Растровое изображение
При помощи увеличительного стекла можно увидеть, что черно-белое графическое изображение, например из газеты, состоит из мельчайших точек, составляющих определенный узор - растр. Во Франции в 19 ве

Модель CMYK
В основе этой модели лежит субтрактивное цветовоспроизведение (характерное для отражающих объектов). Каждому из основных цветов ставится в соответствие дополнительный цвет (дополняющий основной до

Графические режимы
Различают несколько режимов представления цветной графики: · полноцветный (True Color) - для кодирования яркости каждой из составляющих используют по 256 значений (восемь двоичных разрядов

Векторное и фрактальное изображения
Векторное изображение - это графический объект, состоящий из элементарных отрезков и дуг. Базовым элементом изображения является линия. Как и любой объект, она обладает

Кодирование звуковой информации
На слух человек воспринимает упругие волны, имеющие частоту где-то в пределах от 16 Гц до 20 кГц (1 Гц - 1 колебание в секунду). В соответствии с этим упругие волны в любой среде, частоты которых л

Цифро-аналоговое и аналого-цифровое преобразование звуковой информации
Звуковые волны при помощи микрофона превращаются в аналоговый переменный электрический сигнал. Он попадает в аналого-цифровой преобразователь (АЦП) - устройство, которое переводит сигнал в цифровую

Параметры семплирования
Частота - количество измерений амплитуды аналогового сигнала в секунду. Если частота семплирования не будет более чем в два раза превышать частоту верхней грани

Сжатие информации
Кодирование делится на три большие группы - сжатие (эффективные коды), помехоустойчивое кодирование и криптография. Коды, предназначенные для сжатия информации, делятся, в свою очередь, на

Сжатие без потерь
Один из самых простых способов сжатия информации – групповое кодирование. В соответствии с этой схемой серии повторяющихся величин (например, число) заменяются единственной величин

Сжатие с потерей информации
используется для упаковки графических изображений. Этот метод основан на особенности человеческого восприятия изображений. Для человеческого глаза яркость более существенна, чем информация о цветов

Информационные революции
В истории развития цивилизации произошло несколько информационных революций - преобразований общественных отношений из-за кардинальных изменений в сфере обработки информации. Следствием этих преобр

Понятие информационной системы
Под системой понимают любой объект, который одновременно рассматривается и как единое целое, и как объединённая в интересах достижения поставленных целей совокупность разнородных элементов. Системы

Этапы развития информационных систем
История развития информационных систем и цели их использования на разных периодах представлены в таблице 1: Таблица 1. Изменение подхода к использованию информационных систем

Процессы в ИС
Процессы, обеспечивающие работу ИС любого значения, условно можно представить в виде схемы. ИС состоит из блоков: · ввод информации из внешних или внутренних источников;

Структура информационной системы
Общую структуру ИС можно рассматривать как совокупность подсистем независимо от сферы применения. Таким образом, структура любой ИС может быть представлена следующим образом.

Устаревание ИТ
Для ИТ является вполне естественным то, что они устаревают и заменяются новым. Пример. На смену технологии пакетной обработки программ на большой ЭВМ в вычислительном центре пришла техноло

Методология использования ИТ
Централизованная обработка информации на ЭВМ вычислительных центров была первой исторически сложившейся технологией. Создавались крупные вычислительные центры (ВЦ) коллективного использовани

Система команд некоторой ЭВМ – это совокупность команд, которую может выполнить данная ЭВМ
Последовательность команд, предложенную ЭВМ для исполнения, называют программой. Несмотря на разнообразие современных ЭВМ, их структура основана на общих логических

Основные блоки ПК и их значение
Рис. Структурная схема персонального компьютера Микропроцессор (МП). Это центральны

Шины расширений
Шина ISA (Industry Standard Architecture–архитектура промышленного стандарта) – 16-разрядная шина данных и 24-разрядная шина адреса, рабочая частота 16 МГц, но мож

Локальные шины
Локальные шины подключаются непосредственно к шине МП, работают на тактовой частоте МП и обеспечивают связь с некоторыми скоростными внешними по отношению к МП устройствами: основной и внешней памя

Назначение и типы МП
МП выполняет следующие функции: · чтение и дешифрацию команд из ОП; · чтение данных из ОП и регистров адаптеров ВУ; · прием и обработку запросов и команд от адаптеров на

Структура МП
Микропроцессоры состоят из двух частей: · операционной, содержащей УУ, АЛУ и МППС, за исключением нескольких адресных регистров; · интерфейсной, содержащей адресные регистры МПП,

Кэш-память
Кэш-память – высокоскоростная память, являющаяся буфером между ОП и МП и позволяющая увеличить скорость выполнения операций. Регистры кэш–памяти недоступны для пользователя; отсюда и название «кэш»

Физическая структура ОП
ОП содержит RAM и ROM, т. е. ОЗУ и ПЗУ. ОЗУ предназначено для хранения информации (программ и данных), непосредственно участвующей на текущем этапе функционирования ПК.

Логическая структура ОП
Распределение одномегабайтовой области ОЗУ приведено на рис. 3.4. Логическая структура всей ОП показана на рис. 3.5. Каждая ячейка памяти имеет свой уникальный (отличный от всех других) адрес.

Дисковые накопители внешней памяти
Устройства памяти на дисках относятся к устройствам с прямым доступом. Быстрый доступ к любой части диска обеспечивается: · быстрым вращением диска (гибкий – около 300 об/мин, жесткий – ок

Видеотерминальные устройства
Видеотерминал состоит из видеомонитора (дисплея) и видеоконтроллера (адаптера). Видеоконтроллеры входят в состав системного блока ПК (находятся на видеокарте, устанавливаемой в разъем материнской п

Принтеры
Принтеры (печатающие устройства) - это устройства вывода данных из ЭВМ, преобразующие информационные ASCII-коды в соответствующие им графические символы (буквы, цифры, знаки и т.п.) и фиксирующие э

Сканеры
Сканер - это устройство ввода в ЭВМ информации непосредственно с бумажного документа. Можно вводить тексты, схемы, рисунки, графики, фотографии и другую графическую информацию. Сканеры вес

СуперЭВМ
К суперЭВМ относятся мощные многопроцессорные вычислительные машины с быстродействием сотни миллионов - десятки миллиардов операций в секунду. Типовая модель суперЭВМ 2000 г имеет

Переносные компьютеры
Переносные компьютеры - быстроразвивающийся подкласс персональных компьютеров. По прогнозу специалистов, в 1998 г. более 50% пользователей будут использовать именно переносные машины, а к

Процесс передачи информации
Любая коммуникационная сеть должна включать следующие компоненты: передатчик, средства передачи, приемник. Передатчик – устройство, являющееся источником данных.

Формы взаимодействия абонентских ЭВМ
Существуют следующие основные формы взаимодействия абонентских ЭВМ. 1. Терминал-удаленный процесс – предусматривает обращение с терминала одной из абонентских ЭВМ к процес

Модель взаимодействия открытых систем
Многообразие производителей ВС сетей и сетевого ПО породило проблему объединения сетей различных архитектур. Для этого была разработана модель архитектуры открытых систем. Открытая

Протоколы компьютерной сети
При обмене информацией в сети каждый уровень модели взаимодействия открытых систем реагирует на свой заголовок, то есть происходит взаимодействие между однолинейными уровнями модели в различных або

Локальные вычислительные сети
Основное назначение любой компьютерной сети - представление информационных и вычислительных ресурсов подключенным к ней пользователям. С этой точки зрения ЛВС можно рассматривает как совок

Основные топологии ЛВС
Топология ЛВС – это усредненная геометрическая схема соединений узлов сети. ВС можно рассматривать как совокупность узлов – устройств, непосредственно подключенных к перед

Физическая передающая среда ЛВС
Физическая передающая среда ЛВС может быть представлена тремя типами. 1. Витая пара. Состоит из двух изолированных проводов, свитых между собой. Скручивание проводов уменьшает влияние внеш

Методы доступа к передающей среде
Метод доступа к передающей среде – метод, обеспечивающий выполнение совокупности правил, в соответствии с которыми узлы сети получают доступ к ресурсу сети. Существуют два основных класса

Способы объединения ЛВС
Причины применения различных способов объединения ЛВС следующие: исчерпаны технические возможности ЛВС, нужно создать еще одну ЛВС, подключив новых пользователей и объединив ее с уже существующей Л

Глобальная сеть Internet
Internet – это сеть, объединяющая отдельные сети. Логическая структура Internet представляет собой некое виртуальное объединение, имеющее свое виртуальное пространство. Основные яч

Системное программное обеспечение
Системное ПО – совокупность программ и программных комплексов для обеспечения работы компьютера и вычислительных сетей. Системное ПО направлено: · на создание операционной среды ф

Инструментарий технологии программирования
Инструментарий технологии программирования обеспечивает процесс разработки программ и включает специализированное ПО, которое является инструментальными средствами разработки. ПО данного класса при

Пакеты прикладных программ
Прикладное ПО служит программным инструментарием для решения функциональных задач и являются самым многочисленным классом ПО. В данный класс входят программные продукты, выполняющие обработку инфор

Защита программного обеспечения
Защита ПО преследует следующие цели: · ограничение несанкционированного доступа к программам или их преднамеренное разрушение и хищение; · исключение несанкционированного копирова

УРОВНИ ПРОБЛЕМ ПЕРЕДАЧИ ИНФОРМАЦИИ

При реализации информационных процессов всегда происходит перенос информации в пространстве и времени от источника информации к приемнику (получателю). При этом для передачи информации используют различные знаки или символы, например естественного или искусственного (формального) языка, позволяющие выразить ее в некоторой форме, называемой сообщением.

Сообщение - форма представления информации в виде совокупности знаков (символов), используемая для передачи.

Сообщение как совокупность знаков с точки зрения семиотики (от греч. semeion - знак, признак) - науки, занимающейся исследованием свойств знаков и знаковых систем, - может изучаться на трех уровнях :

1) синтаксическом, где рассматриваются внутренние свойства сообщений, т. е. отношения между знаками, отражающие структуру данной знаковой системы. Внешние свойства изучают на семантическом и прагматическом уровнях;

2) семантическом, где анализируются отношения между знаками и обозначаемыми ими предметами, действиями, качествами, т. е. смысловое содержание сообщения, его отношение к источнику информации;

3) прагматическом, где рассматриваются отношения между сообщением и получателем, т. е. потребительское содержание сообщения, его отношение к получателю.

Таким образом, учитывая определенную взаимосвязь проблем передачи информации с уровнями изучения знаковых систем, их разделяют на три уровня: синтаксический, семантический и прагматический.

Проблемы синтаксического уровня касаются создания теоретических основ построения информационных систем, основные показатели функционирования которых были бы близки к предельно возможным, а также совершенствования существующих систем с целью повышения эффективности их использования. Это чисто технические проблемы совершенствования методов передачи сообщений и их материальных носителей - сигналов. На этом уровне рассматривают проблемы доставки получателю сообщений как совокупности знаков, учитывая при этом тип носителя и способ представления информации, скорость передачи и обработки, размеры кодов представления информации, надежность и точность преобразования этих кодов и т. п., полностью абстрагируясь от смыслового содержания сообщений и их целевого предназначения. На этом уровне информацию, рассматриваемую только с синтаксических позиций, обычно называют данными, так как смысловая сторона при этом не имеет значения.

Современная теория информации исследует в основном проблемы именно этого уровня. Она опирается на понятие «количество информации», являющееся мерой частоты употребления знаков, которая никак не отражает ни смысла, ни важности передаваемых сообщений. В связи с этим иногда говорят, что современная теория информации находится на синтаксическом уровне.

Проблемы семантического уровня связаны с формализацией и учетом смысла передаваемой информации, определения степени соответствия образа объекта и самого объекта. На данном уровне анализируются те сведения, которые отражает информация, рассматриваются смысловые связи, формируются понятия и представления, выявляется смысл, содержание информации, осуществляется ее обобщение.

Проблемы этого уровня чрезвычайно сложны, так как смысловое содержание информации больше зависит от получателя, чем от семантики сообщения, представленного на каком-либо языке.

На прагматическом уровне интересуют последствия от получения и использования данной информации потребителем. Проблемы этого уровня связаны с определением ценности и полезности использования информации при выработке потребителем решения для достижения своей цели. Основная сложность здесь состоит в том, что ценность, полезность информации может быть совершенно различной для различных получателей и, кроме того, она зависит от ряда факторов, таких, например, как своевременность ее доставки и использования. Высокие требования в отношении скорости доставки информации часто диктуются тем, что управляющие воздействия должны осуществляться в реальном масштабе времени, т. е. со скоростью изменения состояния управляемых объектов или процессов. Задержки в доставке или использовании информации могут иметь катастрофические последствия.

Как уже отмечалось, понятие информации можно рассматривать при различных ограничениях, накладываемых на ее свойства, т.е. при различных уровнях рассмотрения. В основном выделяют три уровня – синтаксический, семантический и прагматический. Соответственно на каждом из них для определения количества информации применяют различные оценки.

На синтаксическом уровне для оценки количества информации используют вероятностные методы, которые принимают во внимание только вероятностные свойства информации и не учитывают другие (смысловое содержание, полезность, актуальность и т.д.). Разработанные в середине XXв. математические и, в частности, вероятностные методы позволили сформировать подход к оценке количества информации как к мере уменьшения неопределенности знаний.

Такой подход, называемый также вероятностным, постулирует принцип: если некоторое сообщение приводит к уменьшению неопределенности наших знаний, то можно утверждать, что такое сообщение содержит информацию. При этом сообщения содержат информацию о каких-либо событиях, которые могут реализоваться с различными вероятностями.

Формулу для определения количества информации для событий с различными вероятностями и получаемых от дискретного источника информации предложил американский ученый К. Шеннон в 1948г. Согласно этой формуле количество информации может быть определено следующим образом:

Где I – количество информации; N – количество возможных событий (сообщений); p i – вероятность отдельных событий (сообщений).

Определяемое с помощью формулы (2.1) количество информации принимает только положительное значение. Поскольку вероятность отдельных событий меньше единицы, то соответственно выражение log 2 ,- является отрицательной величиной и для получения положительного значения количества информации в формуле (2.1) перед знаком суммы стоит знак «минус».

Если вероятность появления отдельных событий одинаковая и они образуют полную группу событий, т. е.:

то формула (2.1) преобразуется в формулу Р. Хартли:

В формулах (2.1) и (2.2) отношение между количеством информации I и соответственно вероятностью (или количеством) отдельных событий выражается с помощью логарифма.

Применение логарифмов в формулах (2.1) и (2.2) можно объяснить следующим образом. Для простоты рассуждений воспользуемся соотношением (2.2). Будем последовательно присваивать аргументу N значения, выбираемые, например, из ряда чисел: 1, 2, 4, 8, 16, 32, 64 и т.д. Чтобы определить, какое событие из N равновероятных событий произошло, для каждого числа ряда необходимо последовательно производить операции выбора из двух возможных событий.

Так, при N = 1 количество операций будет равно 0 (вероятность события равна 1), при N = 2, количество операций будет равно 1, при N = 4 количество операций будет равно 2, при N = 8, количество операций будет равно 3 и т.д. Таким образом, получим следующий ряд чисел: 0, 1, 2, 3, 4, 5, 6 и т.д., который можно считать соответствующим значениям функции I в соотношении (2.2).

Последовательность значений чисел, которые принимает аргумент N , представляет собой ряд, известный в математике как ряд чисел, образующих геометрическую прогрессию, а последовательность значений чисел, которые принимает функция I , будет являться рядом, образующим арифметическую прогрессию. Таким образом, логарифм в формулах (2.1) и (2.2) устанавливает соотношение между рядами, представляющими геометрическую и арифметическую прогрессии, что достаточно хорошо известно в математике.

Для количественного определения (оценки) любой физической величины необходимо определить единицу измерения, которая в теории измерений носит название меры .

Как уже отмечалось, информацию перед обработкой, передачей и хранением необходимо подвергнуть кодированию.

Кодирование производится с помощью специальных алфавитов (знаковых систем). В информатике, изучающей процессы получения, обработки, передачи и хранения информации с помощью вычислительных (компьютерных) систем, в основном используется двоичное кодирование, при котором используется знаковая система, состоящая из двух символов 0 и 1. По этой причине в формулах (2.1) и (2.2) в качестве основания логарифма используется цифра 2.

Исходя из вероятностного подхода к определению количества информации эти два символа двоичной знаковой системы можно рассматривать как два различных возможных события, поэтому за единицу количества информации принято такое количество информации, которое содержит сообщение, уменьшающее неопределенность знания в два раза (до получения событий их вероятность равна 0,5, после получения – 1, неопределенность уменьшается соответственно: 1/0,5 = 2, т.е. в2 раза). Такая единица измерения информации называется битом (от англ. слова binary digit – двоичная цифра). Таким образом, в качестве меры для оценки количества информации на синтаксическом уровне, при условии двоичного кодирования, принят один бит.

Следующей по величине единицей измерения количества информации является байт, представляющий собой последовательность, составленную из восьми бит, т.е.:

1 байт = 2 3 бит = 8 бит.

В информатике также широко используются кратные байту единицы измерения количества информации, однако в отличие от метрической системы мер, где в качестве множителей кратных единиц применяют коэффициент 10n, где n = 3, 6, 9 и т.д., в кратных единицах измерения количества информации используется коэффициент 2n. Выбор этот объясняется тем, что компьютер в основном оперирует числами не в десятичной, а в двоичной системе счисления.

Кратные байту единицы измерения количества информации вводятся следующим образом:

1 килобайт (Кбайт) = 210 байт = 1024 байт;

1 мегабайт (Мбайт) = 210 Кбайт = 1024 Кбайт;

1 гигабайт (Гбайт) = 210 Мбайт = 1024 Мбайт;

1 терабайт (Тбайт) = 210 Гбайт = 1024 Гбайт;

1 петабайт (Пбайт) = 210 Тбайт = 1024 Тбайт;

1 экзабайт (Эбайт) = 210 Пбайт = 1024 Пбайт.

Единицы измерения количества информации, в названии которых есть приставки «кило», «мега» и т.д., с точки зрения теории измерений не являются корректными, поскольку эти приставки используются в метрической системе мер, в которой в качестве множителей кратных единиц используется коэффициент 10 n , где n = 3, 6, 9 и т.д. Для устранения этой некорректности международная организация International Electrotechnical Commission , занимающаяся созданием стандартов для отрасли электронных технологий, утвердила ряд новых приставок для единиц измерения количества информации: киби (kibi), меби (mebi), гиби (gibi), теби (tebi), пети (peti), эксби (exbi). Однако пока используются старые обозначения единиц измерения количества информации, и требуется время, чтобы новые названия начали широко применяться.

Вероятностный подход используется и при определении количества информации, представленной с помощью знаковых систем. Если рассматривать символы алфавита как множество возможных сообщений N, то количество информации, которое несет один знак алфавита, можно определить по формуле (2.1). При равновероятном появлении каждого знака алфавита в тексте сообщения для определения количества информации можно воспользоваться формулой (2.2).

Количество информации, которое несет один знак алфавита, тем больше, чем больше знаков входит в этот алфавит. Количество знаков, входящих в алфавит, называется мощностью алфавита. Количество информации (информационный объем), содержащееся в сообщении, закодированном с помощью знаковой системы и содержащем определенное количество знаков (символов), определяется с помощью формулы:

где V – информационный объем сообщения; I = log 2 N , информационный объем одного символа (знака); К – количество символов (знаков) в сообщении; N – мощность алфавита (количество знаков в алфавите).