Количество информации

6.1. Мера количества информации

В теории информации изучаются количественные закономерности передачи, хранения,и обработки информации.

Назначение любой системы связи - передать в течение заданного времени как можно больше достоверных сведений от одного объекта или корреспондента к другому.

Проблема достоверности при различных способах приема и передачи сообщений рассматривалась в теории помехоустойчивости. Эта теория, как мы убедились, позволяет не только найти достоверность передачи при заданных условиях, но и выяснить, при каких методах передачи и обработки сигналов эта достоверность будет наибольшей.

В теории информации основное внимание уделяется определению средней скорости передачи информации и решению задачи максимизации этой скорости путем применения соответствующего кодирования . Предельные соотношения теория информации позволяют оценить эффективность различных систем связи и установить условия согласования, в информационном отношении источника с каналом и канала с потребителем.

Для исследования этих вопросов с общих позиций необходимо прежде всего установить универсальную количественную меру информации, не зависящую от конкретной физической природы передаваемых сообщений. Когда принимается сообщение о каком-либо событии, то наши знания о нем изменяются. Мы получаем при этом некоторую информацию об этом событии. Сообщение о хорошо известном нам событии, очевидно, никакой информации не несет. Напротив, сообщение о малоизвестном событии содержит много информации. Например, сообщение бюро погоды от 20 июня о том, что в Одессе «завтра выпадет снег» несет больше информации, чем сообщение «завтра ожидается ясная погода». Первое сообщение является неожиданным, оно несет сведения о редком, маловероятном явлении и поэтому содержит много информации. Второе сообщение является весьма вероятным, оно содержит мало нового и поэтому несет мало информации.

Таким образом, количество информации в сообщении о некотором событии существенно зависит от вероятности этого события.

Вероятностный подход и положен в основу определения меры количества информации. Для количественного определения информации, в принципе, можно использовать любую монотонно убывающую функцию вероятности F [ P (a )] где Р(а) - вероятность, сообщения а. Простейшей из них является функция F =1/Р(а) которая характеризует меру неожиданности (неопределенности) сообщения. Однако удобнее исчислять количество информации а логарифмических единицах, т. е. определять количество информации в отдельно взятом сообщении как

Так как 0< P (a ) l , то J (a ) - величина всегда положительная и конечная. При Р(а)=1 количество информации равно нулю, т. е., сообщение об известном событии никакой информации не несет. Логарифмическая мера обладает естественным в данном случае свойством аддитивности, согласно которому количество информации, содержащееся в нескольких независимых сообщениях, равна сумме количества информации в каждом из них. Действительно, так как совместная вероятность п независимых сообщений , то количество информации а этих сообщениях равно: , что соответствует интуитивным представлениям об увеличении информации при получении дополнительных сообщений. Основание логарифма k может быть любым. Чаще всего принимают k =2, и тогда количество информации выражается в двоичных единицах: дв. ед.

Двоичную единицу иногда называют бит. Слово бит произошло от сокращения выражения binary digit (двоичная цифра). В двоичных системах связи для передачи сообщения используется два символа, условно.обозначаемых 0 и 1. В таких системах при независимых и равновероятных символах, когда P (0) = P (1)=1/2 , каждый из них несет одну двоичную единицу информации:

Формула (6.1) позволяет вычислять количество информация в. сообщениях, вероятность которых отлична от нуля. Это, в свою очередь, предполагает, что сообщения дискретны, а их число ограничено. В таком случае принято говорить об ансамбле сообщений, который описывается совокупностью возможных сообщений и их вероятностей:

(6.2)

Ансамбль сообщений образует полную группу событий, поэтому всегда .

Если все сообщения равновероятны:, то количество информации в каждом из них определяется величиной

Отсюда следует, что количество информации в сообщении зависит от ансамбля, из которого, оно выбрано. До передачи сообщения имеется неопределенность относительно того, какое из m сообщений ансамбля будет передано после приема сообщения эта неопределенность снимается. Очевидно, чем больше т, тем больше неопределенность и тем большее количество информации содержится в переданном сообщении.

Рассмотрим пример. Пусть ансамбль возможных сообщений представляет собой алфавит, состоящий из m различных букв. Необходимо определить, какое количество информации содержится в передаваемом слове длиной п букв, если вероятности появления букв одинаковы, а сами буквы следуют независимо друг от друга. Количество информации при передаче одной буквы:. Так как все буквы равновероятны, то и количество информации, содержащееся в любой букве,. Буквы следуют независимо поэтому количество информации в слове из п букв

К определению информации можно подойти и с другой стороны. Будем рассматривать в качестве сообщения не отдельную букву, а целое слово. Если все буквы равновероятны и следуют независимо, то все слова будут также равновероятны и , где N = m n - число возможных слов. Тогда можно записать

Для двоичного кода ансамбль элементарных сообщений состоит из двух элементов 0 и 1 (m =2). В этом случае сообщение из п элементов несет информацию,

В общем случае при передаче сообщений неопределенность снимается не полностью. Так, в канале с шумами возможны ошибки. По принятому сигналу v только с некоторой вероятностью можно судить о том, что было передано сообщение а. Поэтому после получения сообщения остается некоторая неопределенность, характеризуемая величиной апостериорной вероятности P (a / v ), а количество информации, содержащееся в сигнале v , определяется степенью уменьшения неопределенности при его приеме. Если Р(а) - априорная,вероятность, то количество информации в принятом сигнале v относительно переданного сообщения а, очевидно, будет равно:

Это выражение можно рассматривать также как разность между количеством информации, поступившим от источника сообщений, и тем количеством информации, которое потеряло в канале за счет действия шумов.

В работе представлена модель определения логарифмической меры информации. Из структуры технической системы выделяется объект, и рассматриваются его вероятностные состояния отказа и работы. Когда состояния равновероятны, предлагается использовать меру Хартли, а для неравновероятных – меру Шеннона для одного и многих объектов, если они взаимонезависимы. Модель учитывает возможности определения меры информации только для одного объекта. Все состояния объекта разбиты на два класса. Каждый из выделенных классов формируется на основе данных о потоке неравновероятных событий. Для каждого класса состояний объекта определены суммарные и обобщенные вероятности работоспособности и отказа. Данные вероятности нашли применение в полученных математических выражениях для определения меры неопределенности информации. Показано, что полученные формулы идентичны и применимы как при использовании суммарной вероятности, так и обобщенной вероятности.

состояние технического объекта

энтропия

логарифмическая мера информации

1. Вильчинская О.О., Гатауллин И.Н., Головинов С.О. и др. Определение количества информации в структуре технической системы // Информационные технологии: приоритетные направления развития. Кн. 5: монография. – Новосибирск: ЦРНС – Изд-во «Сибпринт», 2010. – 261 с.

2. Дулесов А.С., Семенова М.Ю., Хрусталев В.И. Свойства энтропии технической системы // Фундаментальные исследования. – 2011. – № 8 (часть 3). – С. 631-636.

3. Дулесов А.С., Ускова Е.А. Применение подходов Хартли и Шеннона к задачам определения количества информации технических систем // Вопросы современной науки и практики. Университет им. В.И. Вернадского. – 2009. – № 2 (16). – С. 46-50.

4. Дулесов А.С., Ускова Е.А. Применение формулы Хартли для оценки структурных связей элементов в задаче обеспечения надежного функционирования технических систем // Вопросы современной науки и практики. Университет им. В.И. Вернадского. – 2009. – № 6 (20). – С. 37-41.

5. Кузнецов Н.А. Информационное взаимодействие в технических и живых системах // Информационные процессы. – 2001. – Т. 1. – № 1. – С. 1-9.

Введение. К сложным техническим системам предъявляется ряд требований, среди которых выделяют поддержание высокого уровня надежности (работоспособности). Высоконадежные системы, как правило, подлежат контролю и диагностике с целью своевременного устранения возможных неполадок, появление которых имеет вероятностную природу. В целом систематический контроль позволяет получить общую картину состояния системы. Имея её на руках, можно вырабатывать решения, направленные на сохранение устойчивого поведения системы, сохранение уровня надежности, тем самым решая задачу кибернетики. Кроме этого, отслеживая «движение» системы во времени и пространстве, можно судить о её эволюции или старении, но уже с позиции синергетики.

Естественным процессом в технических системах является старение, которое неразрывно связано с таким понятием, как «неопределенность». Существует множество методологических подходов к анализу процессов и поддержанию работоспособности систем. Один из них основан на использовании теории информации и касается решения задачи получения меры неопределенности информации (энтропии) . В свою очередь значение информационной энтропии служит мерой выбора из возможных альтернатив.

В теории информации нашли свое практическое применение мера Хартли, позволяющая измерять детерминированные процессы конечной длины, и мера Шеннона - процессы любой длительности, анализ которых использует вероятностно-статистические методы. Обе меры входят в структурное и статистическое направления теория информации.

При эксплуатации технического объекта подсистема контроля передает сигналы или сообщения о состоянии системы, из которых формируется набор статистических данных. Их применение и направления теории информации могут быть положены в основу информационного анализа.

Модель определения меры информации. Техническую систему можно представить в виде структурной схемы с наличием элементов и связей между ними. С позиции оценки надежности в структуру вводят показатели: продолжительность восстановления элемента, частота отказов и др. На их основе определяют вероятность отказа и безотказной работы элемента. Большинство показателей носят вероятностный характер, обусловленный наличием неопределенности поведения системы. Применение меры неопределенности информации может послужить эффективным средством для оценки состояния технической системы, её элементов и структуры. С возможностями применения данной меры в технических системах можно ознакомиться в работах . Изменение состояния влияет на выполнение функций, одна из которых связана с передачей энергии (ресурсов) в системе. Исходя из функциональных особенностей системы возможны, по крайней мере, два варианта оценки состояния (изменения структуры). Первый не связан с учетом потокового процесса, второй учитывает направление потоков в структурной схеме системы. Далее при построении модели примем к рассмотрению первый вариант.

Простейшей моделью количественной оценки структурного содержания системы является подход Хартли, который предложил вычислять количество информации, содержащейся в сообщении. Для нашего случая будем предполагать, что система и каждый из её элементов могут находиться в одном из двух независимых дискретных состояний: работоспособное и неработоспособное. Тогда можно предположить, что от элементов в систему контроля и управления информация поступает в виде сигналов дискретного вида: 0 - элемент системы не работает (находится в неработоспособном состоянии); 1 - элемент работает (находится в работоспособном состоянии). Если предположить, что нас не интересует время пребывания элемента в том или ином состоянии, то общее число всевозможных состояний элементов будет выражаться формулой:

где: k = 2 - число возможных состояний элемента или системы; п - количество элементов в рассматриваемой системе.

В формуле (1) общее число состояний (комбинаций) N - это количество сообщений, сформированных из равно-вероятных и независимых сигналов идущих от элементов. С ростом количества элементов п число комбинаций N увеличивается. Поэтому величину N Хартли использовал в качестве основы для определения меры количества информации. По (1) определяется максимальное количество состояний системы. В реальной обстановке (за определенный промежуток времени, например год) количество состояний всегда будет меньше N. Поскольку нас может интересовать состояние системы на отдельных интервалах времени, то такая мера количества информации, по (1), не удобна для практического использования. Хартли нашел решение, предположив: количество информации I, содержащееся в сообщениях, должно быть функцией от N, то есть I = f(N). Так как число элементов п является показателем степени, то для определения I применяют логарифмическую функцию:

Поскольку число состояний k и основание логарифма приняты равными 2, то количество информации при таких условиях принимается за единицу, которая называется «бит» (двоичная единица).

Появление факторов в системе приводит к возникновению того или иного её состояния, которое по отношению к противоположному состоянию независимо. Условие о независимости состояний указывает на то, что общая информация, по (2), будет равна сумме отдельных информаций и . Здесь и - количество состояний, относящихся к работе и отказу элементов системы соответственно. Их общее количество

Например, если рассматривать два элемента в системе, каждый из которых может находиться в каком-либо из двух состояний, то а для 3-х элементов - N = 8.

Прологарифмировав выражение (3), получим:

которое доказывает свойство аддитивности меры информации Хартли. Данная мера справедлива при условии наличия в системе равновероятных состояний, образующих конечное множество .

Расширим возможности меры Хартли применительно к задачам поиска дискретного содержания структуры системы, при условии конечности исходного множества .

Поскольку рассматриваются только два состояния системы - работоспособное и отказ, то они образуют два класса эквивалентности состояний (см. выражение (4)). Полагаем далее, что каждый из элементов технической системы генерирует состояния, относящиеся только к двум классам эквивалентности.

Если принять во внимание количество элементов , то согласно (1) полученная мера совпадет с логарифмической мерой Хартли:

Из (5) видно, что количество информации в битах равно количеству элементов системы. Следовательно, для равновероятных и взаимонезависимых друг от друга состояний элементов количество информации может выразиться через формулу:

Таким образом, при наличии в системе элементов и при равновероятных состояниях выражение (6) представляет собой логарифмическую меру информации Хартли.

В (6) состояния (работа и отказ) слиты воедино. Однако противоположные состояния желательно разделять, поскольку при их слиянии утрачивается смысл оценки уровня надежности через меру информации. Кроме этого, вероятности нахождения элемента в каждом из состояний неравнозначны. Поскольку важнейшей задачей является сохранение высокого уровня надежности элемента или системы, то на практике вероятность работоспособного состояния всегда будет выше противоположной вероятности. Во избежание слияния информаций (противоположных по своей сути при оценке надежности системы) нужно каждый класс эквивалентности рассматривать в отдельности.

Неравновероятность наличия состояний для элемента или системы вынуждает использовать формулу Шеннона. Последняя является мерой неопределенности наличия или вероятностного присутствия состояния элемента в том или ином классе эквивалентности. Рассмотрим получение формулы на следующем примере.

Например, оценивая надежность технической системы, состояния её элементов рассматриваются на длительных интервалах времени (год и более). На выделенном участке времени состояния перемежаются, следуя друг за другом, образуя поток событий. В этом потоке каждое из событий характеризуется видом (отказ или работа), временем появления и окончания, а также иными показателями. Эти состояния фиксируются в органе управления, одной из задач которого является сохранение высокого уровня работоспособности системы. Решая эту задачу (в нашем случае через определение количества информации), имеющийся поток событий классифицируют, относя события к конкретному i-му элементу либо к самой системе. Так, для одного из элементов, имея поток событий, можно определить вероятности появления каждого из них: pi и qi - вероятность нахождения i-го элемента в работоспособном и неработоспособном состоянии. Вероятности появления событий одного вида образуют суммарную вероятность, pi + qi = 1. Тогда количество информации при неравновероятных и взаимонезависимых событиях, содержащееся в одном элементе, определяется по формуле Шеннона:

Если рассматривать элементы системы как независимо функционирующие, тогда по формуле Шеннона можно определить информацию как

(8)

Вероятности в (8), стоящие перед логарифмом, усредняют значение самого логарифма. Если не разделять состояния по виду, то данное выражение можно переписать как

(9)

при условии В (9) - среднее значение вероятности появления событий всех n элементов.

Однако (8) малопригодно из-за наличия взаимосвязей между элементами, и по этой причине состояния элементов будут определять состояния самой системы. Если ставится задача определить количество информации, содержащейся в системе, то она потребует выполнения некоторых условий: 1) следует иметь совокупные данные о состояниях системы за длительный промежуток времени; 2) иметь данные по каждому из элементов. Например, исходя из второго условия, решение задачи можно получить, опираясь на результаты, представленные в работе . Далее будем рассматривать возможности определения меры информации лишь для одного элемента, исключив из рассмотрения систему.

Далее рассмотрим возможности в определении меры информации лишь для одного элемента (объекта). В данном случае будет справедливым использование выражения (7) при условии p + q = 1. Тогда максимум информации достигается при p = q и будет равен 1.

В выражениях для определения меры информации справедливость применения логарифма по основанию 2 объясняется разбиением всего множества состояний элемента на два класса эквивалентности: работоспособные состояния и их вероятности отнесем к первому классу k1, неработоспособные - ко второму классу k2. Оба класса эквивалентности включают в себя целое число состояний m = G + L, где G - число состояний работоспособности, L - неработоспособности элемента системы. В первом классе присутствует множество G состояний с суммарной вероятностью , во втором - L с суммарной вероятностью Тем самым каждый класс разбит на отдельные неравновероятные состояния.

Выделив 2 эквивалентных класса, где каждому из них принадлежит собственное множество неравновероятных состояний, информацию согласно (7) можно определить по выражению:

при условии , (11)

где pg и ql - вероятность g-го работоспособного и l-го неработоспособного состояний соответственно, (m = G + L) - полное количество состояний элемента. Выражения (7) и (10) совпадают и могут быть применены тогда, когда получены данные путем отслеживания потока событий либо ранее обобщенные статистические данные. При равенстве вероятностей состояний элемента - рg = ql, (например рg = ql = 0,125 и G = L = 4) по выражению (10) и при соблюдении условия (11) получим максимальное значение информации I* = 1, тогда как по (8) - I = 3. Тем самым при равенстве вероятностей первая величина означает максимальное значение информации, содержащейся в одном элементе, вторая - в 3-х независимо функционирующих элементах. В последнем случае использование (8) неправомерно.

Часто в практике расчетов уровня надежности аналитик опирается на наличие статистических данных. При этом он может взять уже готовые обобщенные значения либо, накапливая опыт эксплуатации, рассматривает поток событий, получая тем самым серию вероятностей, и на основе теоремы сложения вероятностей находит суммарное значение и соответственно суммарное q. Подставив эти значения в (7), можно определить количество информации, содержащееся в одном элементе.

Таким образом, выражение (10) представляет собой логарифмическую меру неопределенности информации, содержащуюся в одном элементе, с учетом разделения на работоспособное и неработоспособное состояния.

Отметим еще одну особенность в получении меры неопределенности. Она связана с тем, что формула Шеннона согласуется с формулами Хартли (3)-(6) для равновероятных событий. Если рассматривать поток неравновероятных состояний (событий), то принимая во внимание (3), обобщенные вероятности каждого из классов находятся по Шеннону как

и (12)

При их определении работает теорема умножения вероятностей, поскольку предполагается, что уровень надежности элемента можно представить в виде последовательно протекающих независимых событий . Имея обобщенные вероятности по (12), можно сделать вывод о том, что мера информации для каждого из классов эквивалентности обладает свойством аддитивности. Тогда меру информации можно определить по формуле:

В (13) величины pср и qср усредняют значение информации.

Если в данном выражении будут известны pср и qср, то оно будет соответствовать формуле (10). По сути выражения для определения усредненных значений должны учитывать факт того, что в каждом эквивалентном классе события не являются однородными по характеру появления и содержанию причин, их породивших. Следовательно, основание логарифма при определении информации для одного класса событий должно отличаться от уже принятого основания, равного 2.

В теории о логарифмах известно выражение , которое в нашем случае (например, для k1 класса) выглядит как

Из выражения (14) вытекает следующее:

(15)

Отношение в (15) может быть рассмотрено как плотность информации. Тогда (например, для класса k1) можно записать соотношение:

где

Тогда (13) с учетом средних величин можно записать в виде:

(17)

Примем условие: G = L = 4; рg = ql = 0,125. Тогда по выражению (17) и при соблюдении условия (11) максимальное значение меры информации что подтверждает соответствие выражению (10).

Заключение. Из рассмотренного выше следует, что структура технической системы, состоящая из элементов и связей между ними, подлежит информационному анализу и оценке с позиции надежности. Каждый из элементов может находиться в одном из двух состояний: работа или отказ. Количество состояний, если они равновероятны, определяет значение меры Хартли согласно (6) и разделяется на два класса эквивалентности: класс работоспособных и класс неработоспособных состояний элемента системы. Если события неравновероятны, то мера информации для одного элемента может быть определена по формуле (7). Когда элементы взаимонезависимы, то по формуле Шеннона (8) и (9) можно определить меру информации для системы в целом.

Рассматривая состояния лишь для одного элемента или объекта, каждый из выделенных классов формируется на основе данных о потоке неравновероятных событий. Для каждого из классов эквивалентности можно определить суммарные и обобщенные вероятности работоспособности и отказа элемента. Эти показатели применимы для определения меры неопределенности информации элемента по полученным выражениям (10) и (17) с разделением на класс работоспособных и неработоспособных состояний. Показано, что (10) и (17) идентичны и применимы: первое выражение - при наличии суммарной вероятности, второе - при обобщенной вероятности.

На основе использования вышеупомянутых формул можно для однотипных элементов определить меру неопределенности и на основе полученных величин выделить менее надежный из них.

Рецензенты:

Нагрузова Любовь Петровна, д.т.н., профессор кафедры «Строительство» Хакасского технического института - филиала ФГАОУ ВПО «Сибирский федеральный университет», г. Абакан.

Булакина Елена Николаевна, д.т.н., профессор кафедры «Автомобили и автомобильное хозяйство» Хакасского технического института - филиала ФГАОУ ВПО «Сибирский федеральный университет», г. Абакан.

Библиографическая ссылка

Дулесов А.С., Кабаева Е.В. ЛОГАРИФМИЧЕСКАЯ МЕРА ИНФОРМАЦИИ СОСТОЯНИЯ ТЕХНИЧЕСКОГО ОБЪЕКТА // Современные проблемы науки и образования. – 2013. – № 1.;
URL: http://science-education.ru/ru/article/view?id=8210 (дата обращения: 06.04.2019). Предлагаем вашему вниманию журналы, издающиеся в издательстве «Академия Естествознания»

Направления оценки количества информации

В теории информации выделяются три основных направления: структурное, статистическое, семантическое.

Структурное - рассматривает дискретное строение массивов информации и их измерение простым подсчетом информационных элементов. (Простейшее кодирование массивов - комбинаторный метод.)

Статистическое направление оперирует понятием энтропии как меры неопределенности, то есть здесь учитывается вероятность появления тех или иных сообщений.

Семантическое направление учитывает целесообразность, ценность или существенность информации.

Эти три направления имеют свои определенные области применения. Структурное используется для оценки возможностей технических средств различных систем переработки информации, независимо от конкретных условий их применения. Статистические оценки применяются при рассмотрении вопросов передачи данных, определении пропускной способности каналов связи. Семантические используются при решении задач построения систем передачи информации разработки кодирующих устройств и при оценке эффективности различных устройств.

Структурные меры информации

Структурные меры учитывают только дискретное строение информации. Элементами информационного комплекса являются кванты - неделимые части информации. Различают геометрическую , комбинаторную и аддитивную меры.

Определение информации геометрическим методом представляет собой измерение длины линии, площади или объема геометрической модели информационного комплекса в количестве квантов. Максимально возможное число квантов в заданных структурных габаритах определяет информационную емкость системы . Информационная емкость есть число, указывающее количество квантов в полном массиве информации. Согласно рис. 1.2, г , количество информации М в комплексе X (T,N ), определенное геометрическим методом, равняется

Х, Т, N - интервалы, через которые осуществляются дискретные отсчеты.

В комбинаторной мере количество информации вычисляется как количество комбинаций элементов. Здесь учитываются возможные или реализованные комбинации.

Во многих случаях дискретное сообщение можно рассматривать как слово, состоящее из некоторого количества элементов n, заданных алфавитом, состоящим из т элементов-букв. Определим количество различных сообщений, которые можно образовать из данного алфавита. Если сообщение состоит из двух элементов (п= 2), то всего может быть различных сообщений. Например, из десяти цифр (0, 1, 2,..., 9) может быть образовано сто различных чисел от 0 до 99. Если количество элементов равно трем, то количество различных сообщений равно и т.д.

Таким образом, число возможных сообщений определяется:

где L - число сообщений; п - число элементов в слове; т - алфавит.

Чем больше L , тем сильнее может отличаться каждое сообщение от остальных. Величина L может быть принята в качестве меры количества информации. Однако выбор L в качестве меры количества информации связан с неудобствами: во-первых, при L =1 информация равна нулю, поскольку заранее известен характер сообщения (т.е. сообщение есть, а информация равна нулю); во-вторых, не выполняется условие линейного сложения количества информации, т.е. условие аддитивности. Если, например, первый источник характеризуется различными сообщениями, а второй - , то общее число различных сообщений для двух источников определяется произведением

L= .

Для k источников общее число возможных различных сообщений равно

Поэтому Хартли ввел логарифмическую (аддитивную) меру количества информации, позволяющую оценивать количество инфомации, содержащейся в сообщении, логарифмом числа возможных сообщений.

I= .

Тогда при L= 1 I= 0, т.е. информация отсутствует.

Для k источников информации

т.е. I= .

Статистические меры информации

При статическом вероятностном подходе получение конкретного количества информации рассматривается как результат определенного выбора среди возможных сообщений. Получатель информации может заранее знать или угадать ее часть. Когда приходит сообщение о часто происходящих событиях, вероятность появления которых Р стремится к единице, то такое сообщение малоинформативно. Столь же малоинформативны в среднем сообщения о событиях, вероятности которых стремятся к нулю, т.е. о почти невозможных событиях, поскольку сообщения о таких событиях поступают чрезвычайно редко.

События можно рассматривать как возможные исходы некоторого опыта. Все исходы составляют полную группу событий, или ансамбль.

Ансамбль характеризуется тем, что сумма вероятностей всех сообщений в нем равна единице, то есть

Рассмотрим сложные сообщения, составляемые из п элементов, каждый из которых является независимым и выбирается из алфавита, содержащего т букв, с вероятностями выбора элементов соответственно. Предположим, что в некоторое сообщение вошло элементов алфавита, элементов и т.д. Такое сообщение характеризуется таблицей (табл. 1.1).

Таблица 1.1

Тип элемента

...

Число элементов

...

Вероятности выбора

элементов

Вероятность того, что в сообщение войдут элементов равняется , а вероятность образования сообщения из ,, ,...,,..., элементов будет равна

Р= . (1.1)

При большой длине п источником будут формироваться типичные сообщения, в которых относительная частота появления отдельных элементов стремится к вероятности появления этих элементов, то есть

, (1.2)

а вероятности появления типичных сообщений Р будут одинаковы и могут быть найдены из (1.1), (1.2):

Р= . (1.3)

Определим число типичных сообщений:

так как суммарная вероятность всех типичных сообщений стремится к единице при увеличении длины сообщений.

Хотя число возможных сообщений , источник практически будет вырабатывать только L типичных сообщений, а вероятность появления остальных сообщений стремится к нулю.

Найдем количество информации I , содержащейся в одном сообщении:

I= log L= - log. (1.5)

Данное выражение (формула Шеннона) дает более полное представление об источнике информации, чем аддитивная мера (мера Хартли). Поясним это на следующем примере. Если мы подбрасываем монету, то получим сообщение из двух возможных состояний (орел или решка), то есть, алфавит сообщений из двух букв. Если подбрасываем кубик, одна грань которого голубая, а остальные грани окрашены в розовый цвет, то здесь также имеем алфавит из двух букв (голубой или розовый). Чтобы записать полученный текст (сообщение), в обоих случаях достаточно одной двоичной цифры на букву (п= 1, т= 2).

По Хартли здесь в обоих случаях

Но мы знаем, что в первом случае вероятность каждого исхода опыта равна 0,5 (=0,5). А во втором случае и соответственно. Мера Хартли не учитывает этого.

При равновероятности символов (частный случай) формула Шеннона вырождается в формулу Хартли:

I= - n.

Для случая с монетой:

I= - 1 .

Для случая с кубиком:

I= - 1 .

Количество информации, приходящейся на один элемент сообщения, называется удельной информативностью или энтропией .

Н= . (1.6)

Количество информации и энтропия являются логарифмическими мерами и измеряются в одних и тех же единицах. Основание логарифма определяет единицу измерения количества информации и энтропии. Двоичная единица соответствует основанию логарифма, равному двум, и называется битом. Один бит - это количество информации в сообщении в одном из двух равновероятностных исходов некоторого опыта. Используются также натуральные (НИТ) и десятичные (ДИТ) логарифмы. Аналогичными единицами пользуются и при оценке количества информации с помощью меры Хартли.

Из формулы Шеннона следует, что количество информации, содержащейся в сообщении, зависит от числа элементов сообщения п , алфавита т и вероятностей выбора элементов . Зависимость I от п является линейной .

Отметим некоторые свойства энтропии.

1. Энтропия является величиной вещественной, ограниченной и неотрицательной, то есть Н> 0. Это свойство следует из выражения (1.6).

2. Энтропия минимальна и равна нулю, если сообщение известно заранее, то есть если =1, а

3. Энтропия максимальна, если все состояния элементов сообщений равновероятны.

Н=, если . (1.7)

Величину максимальной энтропии найдем при использовании (1.6) и (1.7):

Целесообразность, полезность информации для решения какой-то задачи можно оценить по эффекту, который оказывает полученная информация на решение задачи. Если вероятность достижения цели увеличивается, то информацию следует считать полезной.

LOGARITHMIC MEASURE OF INFORMATION OF THE CONDITION OF TECHNICAL OBJECT

Dulesov A.S. 1 Kabaeva E.V. 1

1 Khakass State University n.a. N.F. Katanov

Abstract:

The article presents the modifier of logarithmic measure of information model. An object is picked out from the technical system, and its probabilistic states of failure and work are analyzed. When the states are equiprobable it is recommended to use Hartley’s measure, and when they are not equiprobable Shanon’s measure is preferable for one or more interindependent objects. The model considers the capability of modifying the measure of information only for one object. All states of the object are divided into two classes. Each class is based on data of the flow of the inequiprobable events. The total and generalized probabilities of efficiency and failure are determined for the object’s states of each class. The studied probabilities are used in the mathematical formulas for modifying the measure of the uncertainty of information. It is shown that the formulas are identical and may be applied both for the total and generalized probability.

Keywords:

Библиографическая ссылка

Дулесов А.С., Кабаева Е.В. ЛОГАРИФМИЧЕСКАЯ МЕРА ИНФОРМАЦИИ СОСТОЯНИЯ ТЕХНИЧЕСКОГО ОБЪЕКТА // Научное обозрение. Технические науки. – 2014. – № 1. – С. 146-146;
URL: http://science-engineering.ru/ru/article/view?id=204 (дата обращения: 06.04.2019). Предлагаем вашему вниманию журналы, издающиеся в издательстве «Академия Естествознания»

Эта мера определяет полезность информации (ценность) для достижения пользователем поставленной цели.

В основе всей теории информации лежит открытие, сделанное Р. Хартли в 1928 году, и состоящее в том, что информация допускает количественную оценку.

Подход Хартли основан на фундаментальных теоретико-множественных, по существу комбинаторных основаниях, а также нескольких интуитивно ясных и вполне очевидных предположениях.

Если существует множество элементов и осуществляется выбор одного из них, то этим самым сообщается или генерируется определенное количество информации. Эта информация состоит в том, что если до выбора не было известно, какой элемент будет выбран, то после выбора это становится известным. Необходимо найти вид функции, связывающей количество информации, получаемой при выборе некоторого элемента из множества, с количеством элементов в этом множестве, то есть с его мощностью. измерение алгоритмический прагматический байт

Если множество элементов, из которых осуществляется выбор, состоит из одного единственного элемента, то ясно, что его выбор предопределен, то есть, никакой неопределенности выбора нет - нулевое количество информации.

Если множество состоит из двух элементов, то неопределенность выбора минимальна. В этом случае минимально и количество информации.

Чем больше элементов в множестве, тем больше неопределенность выбора, тем больше информации.

Количество этих чисел (элементов) в множестве равно: N=2i

Из этих очевидных соображений следует первое требование: информация есть монотонная функция от мощности исходного множества.

Выбор одного числа дает нам следующее количество информации: i=Log 2 (N)

Таким образом, количество информации, содержащейся в двоичном числе, равно количеству двоичных разрядов в этом числе.

Это выражение и представляет собой формулу Хартли для количества информации.

При увеличении длины числа в два раза количество информации в нем так же должно возрасти в два раза, не смотря на то, что количество чисел в множестве возрастает при этом по показательному закону (в квадрате, если числа двоичные), то есть если N2=(N1)2, то I2=2*I1,

F(N1*N1)=F(N1)+F(N1).

Это невозможно, если количество информации выражается линейной функцией от количества элементов в множестве. Но известна функция, обладающая именно таким свойством: это Log:

Log 2 (N2)=Log 2 (N1)2=2*Log 2 (N1)

Это второе требование называется требованием аддитивности.

Таким образом, логарифмическая мера информации, предложенная Хартли, одновременно удовлетворяет условиям монотонности и аддитивности. Сам Хартли пришел к своей мере на основе эвристических соображений, подобных только что изложенным, но в настоящее время строго доказано, что логарифмическая мера для количества информации однозначно следует из этих двух постулированных им условий.

Пример. Имеются 192 монеты. Известно, что одна из них фальшивая, например, более легкая по весу. Определим, сколько взвешиваний нужно произвести, чтобы выявить её. Если положить на весы разное количество монет, то получим три независимые возможности: а) левая чашка ниже; б) правая чашка ниже; в) чашки уравновешены. Таким образом, каждое взвешивание дает количество информации I=log23, следовательно, для определения фальшивой монеты нужно сделать не менее k взвешиваний, где наименьшее k удовлетворяет условию log23k log2192. Отсюда, k 5или, k=4 (или k=5 - если считать за одно взвешивание и последнее, очевидное для определения монеты). Итак, необходимо сделать не менее пять взвешиваний (достаточно 5).