Количество информации в битах равно. Количество информации

Материал разработан на 2 спаренных урока.

Цели уроков: Сформировать у учащихся понимание вероятности, равновероятных событий и событий с различными вероятностями. Научить находить количество информации, используя вероятностный подход. Создать в Excel информационную модель для автоматизации процесса вычислений в задачах на нахождение количества информации, используя формулу Шеннона.

Требования к знаниям и умениям:

Учащиеся должны знать:

какие события являются равновероятными, какие неравновероятными;
как найти вероятность события;
как найти количество информации в сообщении, что произошло одно из неравновероятных событий;
как найти количество информации в сообщении, когда возможные события имеют различные вероятности реализации.

Учащиеся должны уметь:

различать равновероятные и неравновероятные события;
находить количество информации в сообщении, что произошло одно из равновероятных событий или одно из не равновероятных событий;
создать информационную модель для автоматизации процесса решения задач на нахождение количества информации с помощью прикладных программ.

Оборудование: доска, компьютер, мультимедийный проектор, карточки с заданиями, карточки-памятки, справочный материал.

Урок 1. Вероятностный подход к определению количества информации. Формула Шеннона

Ход урока

I. Организационный момент.

II. Проверка домашнего задания.

III. Постановка цели урока.

Задача: Какое сообщение содержит большее количество информации?

Отв.: 3 бит.)
Вася получил за экзамен оценку 4 (по 5-бальной системе единицы не ставят). (Отв.: 2 бит.)
Отв.: 1 бит.)
Бабушка испекла 8 пирожков с капустой, 16 пирожков с повидлом. Маша съела один пирожок.

Первые три варианта учащиеся решают без затруднения. События равновероятны, поэтому можно применить для решения формулу Хартли. Но третье задание вызывает затруднение. Делаются различные предположения. Роль учителя: подвести учащихся к осмыслению, что в четвертом варианте мы сталкиваемся с ситуацией, когда события неравновероятны. Не все ситуации имеют одинаковые вероятности реализации. Существует много таких ситуаций, у которых вероятности реализации различаются. Например, если бросают несимметричную монету или "правило бутерброда".

Сегодня на уроке мы должны ответить на вопрос: как вычислить количество информации в сообщении о неравновероятном событии.

IV. Объяснение нового материала.

Для вычисления количества информации в сообщении о неравновероятном событии используют следующую формулу: I= log 2 (1/ p)

где I – это количество информации, р – вероятность события.

Вероятность события выражается в долях единицы и вычисляется по формуле: р= K/ N,

где К – величина, показывающая сколько раз произошло интересующее нас событие, N – общее число возможных исходов какого-то процесса.

Вернемся к нашей задаче.

Пусть К 1 – это количество пирожков с повидлом, К 1 =24

К 2 – количество пирожков с капустой, К 2 =8

N – общее количество пирожков, N = К 1 +К 2 =24+8=32

Вычислим вероятность выбора пирожка с разной начинкой и количество информации, которое при этом было получено.

Вероятность выбора пирожка с повидлом: р 1 =24/32=3/4=0,75.

Вероятность выбора пирожка с капустой: р 2 =8/32=1/4=0,25.

Обращаем внимание учащихся на то, что в сумме все вероятности дают 1.

Вычислим количество информации, содержащееся в сообщении, что Маша выбрала пирожок с повидлом: I 1 = log 2 (1/ p 1)= log 2 (1/0,75)= log 2 1,3=1,15470 бит.

Вычислим количество информации, содержащееся в сообщении, если был выбран пирожок с капустой: I 2 = log 2 (1/ p 2)= log 2 (1/0,25)= log 2 4=2 бит.

Пояснение: если учащиеся не умеют вычислять значение логарифмической функции, то можно использовать при решении задач этого урока следующие приемы:

Ответы давать примерные, задавая ученикам следующий вопрос: «В какую степень необходимо возвести число 2, чтобы получилось число, стоящее под знаком логарифма?».
Применить таблицу из задачника-практикума под редакцией Семакина И.Г. и др.

Приложение 1. «Количество информации в сообщении об одном из N равновероятных событий: I= log 2 N». (Приложение вы можете получить у автора статьи. )

При сравнении результатов вычислений получается следующая ситуация: вероятность выбора пирожка с повидлом больше, чем с капустой, а информации при этом получилось меньше. Это не случайность, а закономерность.

Качественную связь между вероятностью события и количеством информации в сообщении об этом событии можно выразить так: чем меньше вероятность некоторого события, тем больше информации содержит сообщение об этом событии.

Вернемся к нашей задаче с пирожками. Мы еще не ответили на вопрос: сколько получим информации при выборе пирожка любого вида?

Ответить на этот вопрос нам поможет формула вычисления количества информации для событий с различными вероятностями, которую предложил в 1948 г. американский инженер и математик К.Шеннон.

Если I -количество информации, N -количество возможных событий, р i - вероятности отдельных событий, где i принимает значения от 1 до N, то количество информации для событий с различными вероятностями можно определить по формуле:

можно расписать формулу в таком виде:

Рассмотрим формулу на нашем примере:

I = - (р 1 ∙log 2 p 1 + р 2 ∙log 2 p 2)= - (0,25∙ log 2 0,25+0,75∙ log 2 0,75)≈-(0,25∙(-2)+0,75∙(-0,42))=0,815 бит

Теперь мы с вами можем ответить на вопрос задачи, которая была поставлена в начале урока. Какое сообщение содержит большее количество информации?

В библиотеке 8 шкафов. Книга нашлась в 3-м шкафу; (Отв.: 3 бит.)
Вася получил за экзамен 3 балла (по 5-бальной системе единицы не ставят). (Отв.: 2 бит.)
Бабушка испекла 12 пирожков с капустой, 12 пирожков с повидлом. Маша съела один пирожок. (Отв.: 1 бит.)
Бабушка испекла 8 пирожков с капустой, 16 пирожков с повидлом. Маша съела один пирожок. (Отв.: 0,815 бит.)

Ответ : в 1 сообщении.

Обратите внимание на 3 и 4 задачу. Сравните количество информации.

Мы видим, что количество информации достигает максимального значения, если события равновероятны.

Интересно, что рассматриваемые нами формулы классической теории информации первоначально были разработаны для технических систем связи, призванных служить обмену информацией между людьми. Работа этих систем определяется законами физики т.е. законами материального мира. Задача оптимизации работы таких систем требовала, прежде всего, решить вопрос о количестве информации, передаваемой по каналам связи. Поэтому вполне естественно, что первые шаги в этом направлении сделали сотрудники Bell Telephon Companie – X. Найквист, Р. Хартли и К. Шеннон. Приведенные формулы послужили К. Шеннону основанием для исчисления пропускной способности каналов связи и энтропии источников сообщений, для улучшения методов кодирования и декодирования сообщений, для выбора помехоустойчивых кодов, а также для решения ряда других задач, связанных с оптимизацией работы технических систем связи. Совокупность этих представлений, названная К. Шенноном “математической теорией связи”, и явилась основой классической теории информации. (Дополнительный материал можно найти на сайте http://polbu.ru/korogodin_information или прочитав книгу В.И. Корогодин, В.Л. Корогодина. Информация как основа жизни. Формула Шеннона. )

Можно ли применить формулу К. Шеннона для равновероятных событий?

Если p 1 =p 2 =..=p n =1/N, тогда формула принимает вид:

Мы видим, что формула Хартли является частным случаем формулы Шеннона.

V . Закрепление изучаемого материала.

Задача: В корзине лежат 32 клубка красной и черной шерсти. Среди них 4 клубка красной шерсти.

Сколько информации несет сообщение, что достали клубок красной шерсти? Сколько информации несет сообщение, что достали клубок шерсти любой окраски?

Дано: К к =4;N=32

Найти: I к, I

Решение:

Ответ : I к =3 бит; I=0,547 бит

VI . Подведение итогов урока.

Объясните на конкретных примерах отличие равновероятного события от неравновероятного?
С помощью какой формулы вычисляется вероятность события.
Объясните качественную связь между вероятностью события и количеством информации в сообщении об этом событии.
В каких случаях применяется формула Шеннона для измерения количества информации.
В каком случае количество информации о событии достигает максимального значения.

Урок 2. Применение ЭТ Excel для решения задач на нахождение количества информации

Пояснение: При решении задач на нахождение количества информации учащиеся не вычисляли значение логарифма, т.к. не знакомы с логарифмической функцией. Урок строился таким образом: сначала решались однотипные задачи с составлением формул, затем разрабатывалась табличная модель в Excel, где учащиеся делали вычисления. В конце урока озвучивались ответы к задачам.

Ход урока

I . Постановка целей урока

На этом уроке мы будем решать задачи на нахождение количества информации в сообщении о неравновероятных событиях и автоматизируем процесс вычисления задач данного типа.

Для решения задач на нахождение вероятности и количества информации используем формулы, которые вывели на прошлом уроке:

р i =K i /N; I i =log 2 (1/p i);

II . Решение задач.

Ученикам дается список задач, которые они должны решить.

Задачи решаются только с выводами формул, без вычислений.

Задача №1

В озере обитает 12500 окуней, 25000 пескарей, а карасей и щук по 6250. Какое количество информации несет сообщение о ловле рыбы каждого вида. Сколько информации мы получим, когда поймаем какую-нибудь рыбу?

Дано: К о =12500; К п =25000; К к = К щ =6250

Найти: I о , I п , I к , I щ , I

Решение:

Найдем общее количество рыбы: N = К о +К п +К к +К щ.
Найдем вероятность ловли каждого вида рыбы: p о = К о / N ; p п = К п / N ; p к = p щ = К к / N .
Найдем количество информации о ловле рыбы каждого вида: I о = log 2 (1/ p о ); I п = log 2 (1/ p п ); I к = I щ = log 2 (1/ p к )
Найдем количество информации о ловле рыбы любого вида: I = p о ∙ log 2 p о + p п ∙ log 2 p п + p к ∙ log 2 p к + p щ ∙ log 2 p щ

III . Объяснение нового материала.

Задается вопрос ученикам:

1. Какие трудности возникают при решении задач данного типа? (Отв. : Вычисление логарифмов).

2. Нельзя ли автоматизировать процесс решения данных задач? (Отв. : можно, т.к. алгоритм вычислений в этих задачах один и тот же).

3. Какие программы используются для автоматизации вычислительного процесса? (Отв.: ЭТ Excel).

Давайте попробуем сделать табличную модель для вычисления задач данного типа.

Нам необходимо решить вопрос, что мы будем вычислять в таблице. Если вы внимательно присмотритесь к задачам, то увидите, что в одних задачах надо вычислить только вероятность событий, в других количество информации о происходящих событиях или вообще количество информации о событии.

Мы сделаем универсальную таблицу, где достаточно занести данные задачи, а вычисление результатов будет происходить автоматически.

Структура таблицы обсуждается с учениками. Роль учителя обобщить ответы учащихся.

При составлении таблицы мы должны учитывать:

Ввод данных (что дано в условии).
Подсчет общего количества числа возможных исходов (формула N=K 1 +K 2 +…+K i).
Подсчет вероятности каждого события (формула p i = К i /N).
Подсчет количества информации о каждом происходящем событии (формула I i = log 2 (1/p i)).
Подсчет количества информации для событий с различными вероятностями (формула Шеннона).

Прежде чем демонстрировать заполнение таблицы, учитель повторяет правила ввода формул, функций, операцию копирования (домашнее задание к этому уроку).

При заполнении таблицы показывает как вводить логарифмическую функцию. Для экономии времени учитель демонстрирует уже готовую таблицу, а ученикам раздает карточки-памятки по заполнению таблицы.

Рассмотрим заполнение таблицы на примере задачи №1.

Рис. 1. Режим отображения формул

Рис. 2. Отображение результатов вычислений

Результаты вычислений занести в тетрадь.

Если в решаемых задачах количество событий больше или меньше, то можно добавить или удалить строчки в таблице.

VI . Практическая работа .

1 . Сделать табличную модель для вычисления количества информации.

2 . Используя табличную модель, сделать вычисления к задаче №2 (рис.3), результат вычисления занести в тетрадь.

Рис. 3

3 . Используя таблицу-шаблон, решить задачи №3,4 (рис.4, рис.5), решение оформить в тетради.

Рис. 4

Задача №2

В классе 30 человек. За контрольную работу по информатике получено 15 пятерок, 6 четверок, 8 троек и 1 двойка. Какое количество информации несет сообщение о том, что Андреев получил пятерку?

Задача№3

В коробке лежат кубики: 10 красных, 8 зеленых, 5 желтых, 12 синих. Вычислите вероятность доставания кубика каждого цвета и количество информации, которое при этом будет получено.

Задача№4

В непрозрачном мешочке хранятся 10 белых, 20 красных, 30 синих и 40 зеленых шариков. Какое количество информации будет содержать зрительное сообщение о цвете вынутого шарика?

VII . Подведение итогов урока.

Учитель оценивает работу каждого ученика. Оценивается не только практическая работа на компьютере, но и оформление решения задачи в тетради.

VIII. Домашняя работа.

1. Параграф учебника «Формула Шеннона», компьютерный практикум после параграфа.

2. Доказать, что формула Хартли – частный случай формулы Шеннона.

Литература:

Соколова О.Л. «Универсальные поурочные разработки по информатике. 10-й класс.» – М.: ВАКО, 2007.
Угринович Н.Д. «Информатика и ИКТ. Профильный уровень. 10 класс» - Бином, Лаборатория знаний, 2007 г.
Семакин И.Г., Хеннер Е.К. «Информатика. Задачник – практикум.» 1 том, - Бином, Лаборатория знаний, 2008 г.

Количество информации как мера уменьшения неопределенности знаний. Информацию, которую получает человек, можно считать мерой уменьшения неопределенности знаний. Если некоторое сообщение приводит к уменьшению неопределенности наших знаний, то можно говорить, что такое сообщение содержит информацию.

Сообщения обычно содержат информацию о каких-либо событиях. Количество информации для событий с различными вероятностями определяется по формуле:

или из показательного уравнения:

Пример 2.1. После экзамена по информатике, который сдавали ваши друзья, объявляются оценки («2», «3», «4» или «5»). Какое количество информации будет нести сообщение об оценке учащегосяA, который выучил лишь половину билетов, и сообщение об оценке учащегосяB, который выучил все билеты.

Опыт показывает, что для учащегося Aвсе четыре оценки (события) равновероятны и тогда количество информации, которое несет сообщение об оценке можно вычислить по формуле 2.2:

I = log 2 4 = 2 бит

На основании опыта можно также предположить, что для учащегося Bнаиболее вероятной оценкой является «5» (p 1 = 1/2), вероятность оценки «4» в два раза меньше (p 2 = 1/4), а вероятности оценок «2» и «3» еще в два раза меньше (p 3 = p 4 = 1/8). Так как события неравновероятны, воспользуемся для подсчета количества информации в сообщении формулой 2.1:

I = -(1/2Elog 2 1/2 + 1/4Elog 2 1/4 + 1/8Elog 2 1/8 + 1/8Elog 2 1/8) бит = 1,75 бит

Вычисления показали, что при равновероятных событиях мы получаем большее количество информации, чем при неравновероятных событиях.

Пример 2.2. В непрозрачном мешочке хранятся 10 белых, 20 красных, 30 синих и 40 зеленых шариков. Какое количество информации будет содержать зрительное сообщение о цвете вынутого шарика.

Так как количество шариков различных цветов неодинаково, то зрительные сообщения о цвете вынутого из мешочка шарика также различаются и равны количеству шариков данного цвета деленному на общее количество шариков:

p б = 0,1; p к = 0,2; p з = 0,3; p с = 0,4

События неравновероятны, поэтому для определения количества информации, содержащимся в сообщении о цвете шарика, воспользуемся формулой 2.1:

I = -(0,1·log 2 0,1+ 0,2·log 2 0,2 + 0,3·log 2 0,3 + 0,4·log 2 0,4) бит

Пример 2.3. Какое количество вопросов достаточно задать вашему собеседнику, чтобы наверняка определить месяц, в котором он родился?

Будем рассматривать 12 месяцев как 12 возможных событий. Если спрашивать о конкретном месяце рождения, то, возможно, придется задать 11 вопросов (если на 11 первых вопросов был получен отрицательный ответ, то 12-й задавать не обязательно, так как он и будет правильным).

Правильно задавать «двоичные» вопросы, т.е. вопросы, на которые можно ответить только «Да» или «Нет». Например, «Вы родились во второй половине года?». Каждый такой вопрос разбивает множество вариантов на два подмножества: одно соответствует ответу «Да», а другое - ответу «Нет».

Правильная стратегия состоит в том, что вопросы нужно задавать так, чтобы количество возможных вариантов каждый раз уменьшалось вдвое. Тогда количество возможных событий в каждом из полученных подмножеств будет одинаково и их отгадывание равновероятно. В этом случае на каждом шаге ответ («Да» или «Нет») будет нести максимальное количество информации (1 бит).

По формуле 2.2 и с помощью калькулятора получаем:

I = log 2 12 »3,6 бит

Количество полученных бит информации соответствует количеству заданных вопросов, однако количество вопросов не может быть нецелым числом. Округляем до большего целого числа и получаем ответ: при правильной стратегии необходимо задать не более 4 вопросов.

Единицы измерения количества информации

Единицы измерения количества информации. За единицу количества информации принят 1 бит - количество информации, содержащееся в сообщении, уменьшающем неопределенность знаний в два раза.

Принята следующая система единиц измерения количества информации:

1 байт = 8 бит

1 Кбайт = 2 10 байт

1 Мбайт = 2 10 Кбайт = 2 20 байт

1 Гбайт = 2 10 Мбайт = 2 20 Кбайт = 2 30 байт

Определение количества информации, представленной с помощью знаковых систем

Если рассматривать символы алфавита как множество возможных сообщений (событий) N, то количество информации, которое несет один знак можно определить из формулы 2.1. Если считать появление каждого знака алфавита в тексте событиями равновероятными, то для определения количества информации можно воспользоваться формулой 2.2 или уравнением 2.3.

Количество информации, которое несет один знак алфавита тем больше, чем больше знаков входят в этот алфавит, т.е. чем больше мощность алфавита.

Количество информации, содержащейся в сообщении, закодированном с помощью знаковой системы, равно количеству информации, которое несет один знак, умноженному на число знаков в сообщении.

Пример 2.5. Какова мощность алфавита, с помощью которого записано сообщение, содержащее 2048 символов, если его объем составляет 1,25 Кбайта.

Перевести информационный объем сообщения в биты:

I = 10 240 бит

Определить количество бит, приходящееся на один символ:

10 240 бит: 2 048 = 5 бит

По формуле 2.3 определить количество символов в алфавите.

Информация. Информационные объекты различных видов. Основные информационные процессы: хранение, передача и обработка информации. Роль информации в жизни людей.
Восприятие, запоминание и преобразование сигналов живыми организмами.
Понятие количества информации: различные подходы. Единицы измерения количества информации.
Обобщающий урок по теме, самостоятельная работа.

Урок.

Цели:

образовательные – дать понятие количества информации, познакомить с вероятностным и алфавитным подходом при определении количества информации, познакомить с единицами измерения информации, формировать практические навыки по определению количества информации.
развивающие – продолжить формирование научного мировоззрения, расширять словарный запас по теме «Информация»
воспитательные – формировать интерес к предмету, воспитывать настойчивость в преодолении трудностей в учебной работе.

1. Организационный этап (приветствие, определение отсутствующих на уроке)

2. Проверка домашнего задания, активизация знаний

по теме «Информация», полученных на предыдущих 2 уроках. С целью формирования речи, закрепления основополагающих понятий данной темы проверка домашнего задания проводится в виде фронтального устного опроса по следующим вопросам:

Что вы понимаете под информацией? Приведите примеры. Предполагаемые ответы: обычно учащиеся легко приводят примеры информации, которые они получают сами в окружающем мире – новости, школьный звонок, новые знания на уроках, сведения, полученные при чтении научно-популярной литературы, опыт и эмоции, полученные при чтении художественной литературы, эмоциональные переживания, полученные от прослушивания музыки, эстетические каноны, сведения о костюме и быте 18 века, эмоции, полученные при просмотре картин художников 18 века. Желательно, чтобы учащиеся приводили примеры информации и в технических, и в биологических системах и др. (форма бородки ключа содержит информацию о замке, определенная температура воздуха в помещении – информация для системы пожаротушения, в биологической клетке содержится информация о биологическом объекте, частью которого она является…)
Мы знаем, что две другие важные сущности мира вещество и энергия существовали до живых организмов на Земле. Существовала ли информация и информационные процессы до появления человека? Предполагаемый ответ – да, существовала. Например, информация, содержащаяся в клетке растения о виде растения, об условиях прорастания, размножения и пр. позволяет растению расти и размножаться без вмешательства человека; информация, накопленная поколениями хищных животных, формирует условные и безусловные рефлексы поведения следующих поколений хищников.
Вещество – то, из чего все состоит, энергия – то, что все приводит в движение. Верно ли суждение, что информация управляет миром. Обоснуйте свой ответ. Ответ: информация действительно управляет миром. Сигнал с Земли спутнику заставляет изменить траекторию его движения; если мы на пути видим лужу, то информация о ее виде, о том, что она мокрая и грязная, заставляет нас принять решение обойти лужу. Характерный жест человека (вытянутая вперед рука с вертикально расположенной ладонью) заставляет нас остановиться, информация на бородке ключа и форма щели замка позволяет принять решение о выборе ключа из связки, сформированные поколениями определенного вида птиц рефлексы управляют миграционными процессами. Читая художественную литературу, мы впитываем жизненный опыт героев, который влияет на принятие определенных решений в нашей собственной жизни; слушая определенную музыку, мы формируем соответствующий вкус, влияющий на наше поведение, окружение и пр.
Назовите виды информации по форме представления, приведите примеры. Ответ: числовая (цена на товар, числа в календаре), текстовая (книга, написанная на любом языке, текст учебников), графическая (картина, фотография, знак СТОП), звуковая (музыка, речь), видео (анимация + звук), командная (перезагрузить компьютер - нажатие клавиш Ctrl+Alt+Delete/Enter).
Какие действия можно производить с информацией? Ответ: ее можно обрабатывать, передавать, хранить и кодировать (представлять).
Назовите способы восприятия информации человеком. Ответ: человек воспринимает информацию с помощью 5 органов чувств - зрение (в форме зрительных образов), слух (звуки – речь, музыка, шум…), обоняние (запах с помощью рецепторов носа), вкус (рецепторы языка различают кислое, горькое, соленое, холодное), осязание (температура объектов, тип поверхности…)
Приведите примеры знаковых систем. Ответ: естественный язык, формальный язык (десятичная система счисления, ноты, дорожные знаки, азбука Морзе), генетический алфавит, двоичная знаковая система.
Почему в компьютере используется двоичная знаковая система для кодирования информации? Ответ: двоичная знаковая система используется в компьютере, так как существующие технические устройства могут надежно сохранять и распознавать только два различных состояния (знака).

3. Вероятностный подход к измерению количества информации (см. мультимедийную презентацию).

Сегодня мы с вами поговорим об измерении информации, т. е. об определении ее количества. (Учащиеся записывают тему урока в тетрадь – «Количество информации» ). Как вы думаете, какая из книг содержит большее количество информации (показать тонкую и толстую)? Как правило, учащиеся выбирают толстую, так как в ней больше записано слов, текста, букв (некоторые ребята задают вопрос о том, какого типа информация содержится в книге – графическая или текстовая? Следует уточнить, что в книге содержится только текстовая информация). Какое сообщение несет для вас больше информации «завтра учимся по обычному расписанию» или «завтра вместо литературы будет химия»? Учащиеся интуитивно ответят, что второе, потому что, несмотря на почти одинаковое количество слов, во втором сообщении содержится более важная, новая или актуальная для них информация. А первое сообщение вообще не несет никакой новой информации. Вы заметили, что посмотрели на информацию с точки зрения количества символов, в ней содержащихся, и с точки зрения ее смысловой важности для вас? Существует 2 подхода при определении количества информации – смысловой и технический (алфавитный). Смысловой применяется для измерения информации, используемой человеком, а технический (или алфавитный) – компьютером.

Для человека получение новой информации приводит к расширению знаний, или к уменьшению неопределенности. Например, сообщение о том, что завтра среда, не приводит к уменьшению неопределенности, поэтому оно не содержит информацию. Пусть у нас имеется монета, которую мы бросаем на ровную поверхность. Мы знаем до броска, что может произойти одно из двух событий – монета окажется в одном из двух положений: «орел» или «решка». После броска наступает полная определенность (визуально получаем информацию о том, что выпал, например, «орел»). Информационное сообщение о том, что выпал «орел» уменьшает нашу неопределенность в 2 раза, так как получено одно из двух информационных сообщений.

В окружающей действительности достаточно часто встречаются ситуации, когда может произойти больше, чем 2 равновероятных события. Так, при бросании шестигранного игрального кубика – 6 равновероятных событий. Событие выпадение одной из граней кубика уменьшает неопределенность в 6 раз. Чем больше начальное число событий, тем больше неопределенность нашего знания, тем больше мы получим информации при получении информационного сообщения.

Количество информации можно рассматривать как меру уменьшения неопределенности знания при получении информационных сообщений. (Выделенное курсивом учащиеся записывают в тетрадь).

Существует формула, которая связывает между собой количество возможных информационных сообщений N и количество информации I, которое несет полученное сообщение:

N=2 I (N – количество возможных информационных сообщений, I – количество информации, которое несет полученное сообщение).

Для количественного выражения любой величины необходимо определить единицу измерения. Например, для измерения длины выбран определенный эталон метр, массы – килограмм.

4. Единицы измерения информации

За единицу измерения количества информации принимается такое количество информации, которое содержится в сообщении, уменьшающем неопределенность знания в 2 раза. Такая единица называется битом.

Вернемся к рассмотренному выше получению информационного сообщения о том, что выпал «орел» при бросании монеты. Здесь неопределенность уменьшилась в 2 раза, следовательно, это сообщение равно 1 биту. Сообщение о том, что выпала определенная грань игрального кубика, уменьшает неопределенность в 6 раз, следовательно, это сообщение равно 6 битам.

Минимальной единицей измерения количества информации является бит, а следующей по величине единицей – байт, причем

1 байт = 8 битов

В международной системе СИ используют десятичные приставки «Кило» (10 3), «Мега» (10 6), «Гига» (10 9),… В компьютере информация кодируется с помощью двоичной знаковой системы, поэтому в кратных единицах измерения количества информации используется коэффициент 2 n .

1 килобайт (Кбайт) = 2 10 байт = 1024 байт
1 мегабайт (Мбайт) = 2 10 Кбайт = 1024 Кбайт
1 гигабайт (Гбайт) = 2 10 Мбайт = 1024 Мбайт
1 терабайт (Тбайт) = 2 10 Гбайт = 1024 Гбайт

Терабайт – очень крупная единица измерения информации, поэтому применяется крайне редко. Всю информацию, которое накопило человечество, оценивают в десятки терабайт.

5. Определение количества информации

Задача 1. Определите количество экзаменационных билетов, если зрительное сообщение о номере одного вытянутого билета несет 5 битов информации. Количество билетов – это количество информационных сообщений. N=2 I = 2 5 = 32 билета.

Задача 2. Какое количество информации несет сообщение об оценке за контрольную работу? Вы можете получить за контрольную 2, 3, 4 или 5. Всего 4 сообщения (N=4). Формула принимает вид уравнения - 4=2 I = 2 2 , I=2.

Задания для самостоятельного выполнения: (формула всегда должна быть перед глазами, можно также вывесить таблицу со степенями 2) (3 мин.)

Какое количество информации мы получаем в зрительном сообщении о падении симметричной восьмигранной пирамиды на одну из граней? Ответ: 3 бита, потому что количество возможных событий (сообщений) N=8, 8=2 I = 2 3 , I=3.
Из непрозрачного мешочка вынимают шарики с номерами и известно, что информационное сообщение о номере шарика несет 5 битов информации. Определите количество шариков в мешочке. Ответ: в мешочке 32 шарика, т. к. N=2 I = 2 5 = 32.
Какое количество информации при игре в крестики-нолики на поле размером 4 Х 4 клетки получит второй игрок после первого хода первого игрока. Ответ: Количество событий до начала игры N=16, 16=2 I = 2 4 , I=4. Второй игрок после первого хода первого игрока получит 4 бита информации.

6. Алфавитный подход к определению количества информации

Суть технического или алфавитного подхода к измерению информации определяется по количеству использованных для ее представления знаков некоторого алфавита. Например, если при представлении числа XVIII использовано 5 знаков римского алфавита, то это и есть количество информации. То же самое число, т. е. ту же самую информацию, можно записать в десятичной системе (18). Как видим, получается 2 знака, т. е. другое значение количества информации. Для того, чтобы при измерении одной и той же информации получалось одно и то же значение количества информации, необходимо договориться об использовании определенного алфавита. Так как в технических системах применяется двоичный алфавит, то его же используют для измерения количества информации. Количество знаков в алфавите N=2, N=2 I , I – количество информации, которое несет один знак. 2 2 = 2 1 , I=1бит. Интересно, что сама единица измерения количества информации «бит» (bit) получила свое название от английского словосочетания «BI nary digiT » - «двоичная цифра».

Чем большее количество знаков в алфавите, тем большее количество информации несет 1 знак алфавита.

Определите самостоятельно количество информации, которое несет 1 буква русского алфавита.

Ответ: буква русского алфавита несет 5 битов информации (при алфавитном подходе к измерению информации).

Какое количество информации содержится в одном символе 8 разрядного двоичного кода (символ А – 11000000)? Ответ: 8 битов или 1 байт.

Практическая работа (раздаточный материал – инструкционная карта для выполнения практической работы) по определению количества информации с помощью калькулятора:

Определите информационный объем следующего сообщения в байтах (сообщение напечатано на карточке, карточки на каждой парте):

Количество информации, которое несет в себе знак, зависит от вероятности его получения. В русской письменной речи частота использования букв в тексте различна, так в среднем на 1000 знаков осмысленного текста приходится 200 букв «а» и в сто раз меньше количество букв «ф» (всего 2). Таким образом, с точки зрения теории информации, информационная емкость знаков русского алфавита различна (у буквы «а» она наименьшая, а у буквы «ф» - наибольшая).

Определяем количество символов (количество символов в строке*количество строк) – 460 символов = 460 байт

Введите и сохраните этот текст на рабочем столе с помощью программы Блокнот. Определите информационный объем этого файла с помощью компьютера (Выделите объект àПКМ à Свойства) Ответ: 460 байт.

Можно записать этот текст в виде звукового файла 1.wav и сравнить с текстовым (Пуск à программы à стандартные à развлечения à звукозапись…). Определить его информационный объем с помощью компьютера – 5,28 Мб (5 537 254 байта). Объяснить учащимся, что это отличие вызвано различием в представлении звуковой и текстовой информации. Особенности такого представления будут рассмотрены позже.

2. Определите какое количество учебников поместится на диске, информационный объем которого 700 Мб. Ответ: 1. определить количество символов в учебнике (количество символов в строке*количество строк на странице * количество страниц) 60 * 30 *203 = 365400 символов = 365400 байт = 365400/1024/1024 Мб= 0,35 Мб. Количество учебников К=700/0,35= 2000 учебников.

7. Подведение итогов урока в форме фронтального опроса:

Какие существуют подходы к определению количества информации? Ответ: существует 2 подхода к измерению количества информации – смысловой и технический или алфавитный.
В чем состоит отличие одного подхода от другого? Ответ: при смысловом подходе количество информации – мера уменьшения неопределенности знания при получении информационного сообщения, при алфавитном – количество знаков в сообщении * количество информации, которое несет 1 знак алфавита.
Назовите единицы измерения информации от самых маленьких до самых больших. Ответ: бит, байт, Кб, Мб, Гб, Тб.
На какую величину отличается байт от Кб, Кб от Мб, Мб от Гб? Ответ: 1024 (2 10).
Сколько битов содержится в 1 байте? Ответ: 8.
Что такое бит при смысловом и алфавитном подходе к определению количества информации? Ответ: при смысловом подходе бит – уменьшение неопределенности знания в 2 раза при получении информационного сообщения; при алфавитном подходе бит – информационная емкость одного знака при двоичном кодировании.

8. Домашнее задание

Параграфы 1.3.1 и 1.1.3 (Н. Угринович «Информатика. Базовый курс. 8 класс») 2 вопроса на стр. 29 (1. Приведите примеры информационных сообщений, которые приводят к уменьшению неопределенности знания. 2. Приведите примеры информационных сообщений, которые несут 1 бит информации).
Задачи: 1. Какое количество информации содержит сообщение об оценке за контрольную работу? 2. Вычислите, какое количество информации в битах содержится в 1 Кб, 1 Мб? 3. Рассчитайте, какое количество книг (дома возьмите любую художественную книгу) поместится на дискете, объемом 1,44 Мб.

Основное содержание темы: Известны два подхода к измерению информации: содержательный и алфавитный. Алфавитный подход используется для измерения количества информации в тексте, представленном в виде последовательности символов некоторого алфавита. Такой подход не связан с содержанием текста. Количество информации в этом случае называется информационным объемом текста. С позиции содержательного подхода к измерению информации решается вопрос о количестве информации в сообщении, получаемом человеком.

Практическая работа 2. Решение задач с применением формулы Хартли

Цель работы: определение количества информации при содержательном подходе.

1) человек получает сообщение о некотором событии; при этом заранее известна неопределенность знания человека об ожидаемом событии. Неопределенность знания может быть выражена либо числом возможных вариантов события, либо вероятностью ожидаемых вариантов события;

2) в результате получения сообщения неопределенность знания снимается: из некоторого возможного количества вариантов оказался выбранным один;

3) по формуле вычисляется количество информации в полученном сообщении, выраженное в битах.

Формула, используемая для вычисления количества информации, зависит от ситуаций, которых может быть две:

1. Все возможные варианты события равновероятны. Их число конечно и равно N.

2. Вероятности (p) возможных вариантов события разные и они заранее известны: {p i }, i = 1..N.

Если равновероятные события, то величины i и N связаны между собой формулой Хартли:

2 i = N (1), где

i – количество информации в сообщении о том, что произошло одно из N равновероятных событий, измеряется в битах.

N - число возможных вариантов события.

Формула Хартли - это показательное уравнение. Если i - неизвестная величина, то решением уравнения (1) будет:

Формулы (1) и (2) тождественны друг другу.

Оборудование:

1. Разберите ниже приведенные примеры задач с решениями. Запишите в тетрадь.

Задача 1. Найти количество информации в однозначном сообщении.

Решение :

N=1 => 2 i =1 => i=0 бит

Задача 2. Измерить количество информации при ответе на вопрос: «Какие завтра намечаются осадки?»

Решение:

N=4 => 2 i =4 => i=2 бит

Задача 3. Получено сообщение, объемом 10 бит. Какое количество сообщений возможно составить из полученных данных?

Решение:

i=10 => 2 10 =1024 => N=1024 сообщения

1. Сколько информации содержит сообщение о том, что из колоды карт достали даму пик?

2. Сколько информации содержит сообщение о выпадении грани с числом 3 на шестигранном игральном кубике?

3. Некто задумал натуральное число в диапазоне от 1 до 32. Какое минимальное число вопросов надо задать, чтобы гарантированно угадать задуманное (выделенное) число. Ответы могут быть только «да» или «нет».

4. (Задача о фальшивой монете). Имеется 27 монет, из которых 26 настоящих и одна фальшивая. Каково минимальное число взвешиваний на рычажных весах, за которое можно гарантированно определить одну фальшивую монету из 27, используя то, что фальшивая монета легче настоящей. Рычажные весы имеют две чашки и с их помощью можно лишь установить, одинаково ли по весу содержимое чашек, и если нет, то содержимое какой из чашек тяжелее.

5. Сколько вопросов следует задать и как их нужно сформулировать, чтобы узнать с какого из 16 путей отправляется ваш поезд?

6. Какое количество информации получит первый игрок после первого хода второго игрока в игре "крестики - нолики" на поле 4 х 4?

7. После реализации одного из возможных событий получили количество информации равное 15 бит. Какое количество возможных событий было первоначально?

8. Определить стратегию угадывания одной карты из колоды из 32 игральных карт (все четыре шестерки отсутствуют), если на вопросы будут даны ответы "да" или "нет".

9. При игре в кости используется кубик с шестью гранями. Сколько бит информации получает игрок при каждом бросании кубика?

10. Сообщение о том, что ваш друг живет на 6 этаже несет 4 бита информации. Сколько этажей в доме.

11. Информационная емкость сообщения о том, что из корзины, где лежало некоторое количество разноцветных шаров, достали зеленый шар, несет в себе 0, 375 байта информации. Сколько в корзине было шаров.

12. В библиотеке 16 стеллажей. На каждом стеллаже по 8 полок Библиотекарь сказал Оле, что интересующая ее книга находится на 3 стеллаже, на 2-й сверху полке. Какое количество информации получила Оля?

13. В мешке находятся 30 шаров, из них 10 белых и 20 черных. Какое количество информации несет сообщение о том, что достали белый шар, черный шар?

14. В классе 30 человек. За контрольную работу по математике получено 6 пятерок, 15 четверок, 8 троек и 1 двойка. Какое количество информации в сообщении о том, что Иванов получил четверку?

15. В корзине лежат 32 клубка шерсти. Среди них – 4 красных. Сколько информации несет сообщение о том, что достали клубок красной шерсти?

16. В коробке лежат 64 цветных карандаша. Сообщение о том, что достали белый карандаш, несет 4 бита информации. Сколько белых карандашей было в корзине?

17. В ящике лежат перчатки (белые и черные). Среди них – 2 пары черных. Сообщение о том, что из ящика достали пару черных перчаток, несет 4 бита информации. Сколько всего пар перчаток было в ящике?

Контрольные вопросы:

1. Какой принцип положен в основу измерения количества информации?

2. Каким образом определяется единица количества информации при кибернетическом подходе?

3. Что принимается за минимальную единицу количества информации с точки зрения уменьшения неопределенности знаний в 2 раза?

4. В каких случаях применяют формулу Хартли?

Практическая работа 3. Вычисление количества информации на основе вероятностного подхода

Цель работы: совершенствование навыка по определению количества информации на основе вероятностного подхода

Краткое теоретическое обоснование: см. практическую работу 2.

Оборудование: дидактические материалы по теме «Определение количества информации»

Последовательность выполнения:

Задача 1. В языке племени Мумбо-Юмбо всего 20 разных слов. Сколько бит нужно, чтобы закодировать любое из этих слов?

Решение .

· По условию задачи у нас имеется 20 различных вариантов.

· Количество бит информации, необходимое для задания 20 равновероятных (одинаково принимаемых в расчет) вариантов можно рассчитать по формуле:

h=log 2 20» 4,32 бит

или при выборе двухсимвольного алфавита для кодирования достаточно составить слово из 5 бит.

Задача 2. В доме 14 окон. Сколько различных сигналов можно подать, зажигая свет в окнах? Сколько бит информации несет в себе каждый такой сигнал?

Решение .

· Каждое окно несет в себе 1 бит информации: горит - не горит.

· Количество различных равновероятных сигналов, передаваемое с помощью 14 бит равно 2 14 = 16 384.

· Каждый из 16 384 сигналов несет в себе 14 бит информации.

2. Решите следующие задачи. Результат оформите в тетради.

1. В корзине лежат шары. Все разного цвета. Сообщение о том, что достали синий шар, несет 5 бит информации. Сколько всего шаров в корзине?

2. В соревновании участвуют 4 команды. Сколько информации в сообщении, что выиграла 3-я команда?

3. Группа школьников пришла в бассейн, в котором 4 дорожки для плавания. Тренер сообщил, что группа будет плавать на дорожке номер 3. Сколько информации получили школьники из этого сообщения?

4. В коробке 5 синих и 15 красных шариков. Какое количество информации несет сообщение, что из коробки достали синий шарик?

5. В коробке находятся кубики трех цветов: красного, желтого и зеленого, причем желтых в два раза больше красных, а зеленых на 6 больше, чем желтых. Сообщение о том, что из коробки случайно вытащили желтый кубик, содержало 2 бита информации. Сколько было зеленых кубиков?

6. Студенты группы изучают один из трех языков: английский, немецкий или французский, причем 12 студентов не учат английский. Сообщение, что случайно выбранный студент Петров изучает английский, несет log23 бит информации, а что Иванов изучает французский – 1 бит. Сколько студентов изучают немецкий язык?

7. В составе 16 вагонов, среди которых К – купейные, П – плацкартные и СВ – спальные. Сообщение о том, что ваш друг приезжает в СВ, несет 3 бита информации. Сколько в поезде вагонов СВ?

8. Студенческая группа состоит из 21 человека, которые изучают немецкий или французский языки. Сообщение о том, что студент A изучает немецкий язык, несет log 2 3 бит информации. Сколько человек изучают французский язык?

9. Сколько информации несет сообщение о том, что было угадано число в диапазоне целых чисел от 684 до 811?

10. Для дистанционной передачи роботу различных команд применяются сигналы в 6 бит, причем сигнала в 5 бит недостаточно для передачи всех команд. Может ли общее количество всех команд для этого робота быть равно:

42 командам? 70 командам?

28 командам? 55 командам?

Какое наименьшее и какое наибольшее количество команд может получать робот?

11. Одиннадцать одноклассников решают голосованием, куда пойти после уроков. При голосовании каждый может быть либо “за” либо “против”. Сколько различных вариантов голосования может быть? Сколько бит потребуется, чтобы закодировать результаты голосования?

12. Какое минимальное количество бит информации требуется для кодирования всех букв русского алфавита?

13. Друзья в соседних домах договорились передавать друг другу сообщения в виде световых сигналов. Сколько лампочек им понадобиться для кодирования 10 различных слов?

14. В компьютерной игре распознаются 65 различных команд управления. Сколько бит требуется отвести в блоке памяти для кодирования каждой команды? Достаточно ли отведенных бит для кодирования 100 команд?

Контрольные вопросы:

1. Какие события являются равновероятностными?

2. Приведите примеры из жизни равновероятностных событий.

3. Какая формула связывает между собой количество возможных событий и количествоинформации?

4. Как зависит количество информации от количества возможных событий?

5. Верно ли высказывание о том что, чем больше количество возможных событий, тем меньше количество информации будет содержать сообщение о результатах опыта.

Ответ обоснуйте.

Практическая работа 4 . Решение задач с применением формулы Шеннона

Цель работы: приобретение навыка по определению количества информации на основе вероятностного подхода

Краткое теоретическое обоснование:

Степень неопределенности – одна из характеристик случайного события, которую назвали энтропией. Обозначается - Н(α). За единицу энтропии принимается неопределенность, содержащаяся в опыте, имеющем два равновероятностных исхода. Существуют множества ситуаций, когда возможные события имеют различные вероятности реализации. Например, если монета не симметрична (одна сторона тяжелее другой), то при её бросании вероятности выпадения «орла» и «решки» будут различаться. Формулу для вычисления количества информации в случае различных вероятностей событий предложил К.Шеннон в 1948 году. В этом случае количество информации определяется по формуле:

P i log 2 p i , где I –количество информации, N –количество возможных событий, p i –вероятности отдельных событий. Вероятность события p i =1/N.

Для решения задач такого типа нам необходимо знать формулу расчета вероятности исхода. Она выглядит так:

где M – это величина, показывающая сколько раз произошло событие, N – это общее число возможных исходов какого-то процесса.

Необходимо знать, что в сумме все вероятности дают единицу или в процентном выражении 100%.

Оборудование: дидактические материалы по теме «Определение количества информации».

Последовательность выполнения:

Задача 1. Из колоды выбрали 16 карт (все “картинки” и тузы) и положили на стол рисунком вниз. Верхнюю карту перевернули. Верхняя перевернутая карта оказалась черной дамой. Сколько информации будет заключено в сообщении о том, какая именно карта оказалась сверху?

Решение .

В результате сообщения об исходе случайного события не наступает полной определенности: выбранная карта может иметь одну из двух черных мастей.

Так как информация есть уменьшение неопределенности знаний:

До переворота карты неопределенность (энтропия) составляла

H1 = log 2 N1, после него – H2 = log 2 N2.

(причем в условиях задачи N1 = 16, а N2 = 2).

В итоге информация вычисляется следующим образом:

I = H1 – H2 = log 2 N1 – log 2 N2 = log 2 N1/N2 = log 2 16/2 = 3 бита.

Задача 2. Вероятность перового события составляет 0,5, а второго и третьего 0,25. Какое количество информации мы получим после реализации одного из них?

Решение .

Р 1 =0,5; Р 2 =Р 3 =0,25 Þ бита.

Задача 3. Определить количество информации, получаемое при реализации одного из событий, если бросают

а) несимметричную четырехгранную пирамидку;

б) симметричную и однородную четырехгранную пирамидку.

Решение .

а) Будем бросать несимметричную четырехгранную пирамидку.

Вероятность отдельных событий будет такова:

тогда количество информации, получаемой после реализации одного из этих событий, рассчитывается по формуле Шеннона т.к. неравновероятностные события:

I = -(1 / 2 log 2 1/2 + 1 / 4 log 2 1/4 + 1 / 8 log 2 1/8 + 1 / 8 log 2 1/8) = 1 / 2 + 2 / 4 + + 3 / 8 + 3 / 8 = 14/8 = 1,75 (бит).

б) Теперь рассчитаем количество информации, которое получится при бросании симметричной и однородной четырехгранной пирамидки, т.е. равновероятностные события:

I = log 2 4 = 2 (бит).

2. Решите следующие задачи. Результат оформите в тетради.

1. В классе 30 человек. За контрольную работу по информатике получено 15 пятерок, 6 четверок, 8 троек и 1 двойка. Какое количество информации несет сообщение о том, что Андреев получил пятерку?

2. В непрозрачном мешочке хранятся 10 белых, 20 красных, 30 синих и 40 зеленых шариков. Какое количество информации будет содержать зрительное сообщение о цвете вынутого шарика?

3. За контрольную работу по информатике получено 8 пятерок, 13 четверок, 6 троек и 2 двойки. Какое количество информации получил Васечкин при получении тетради с оценкой?

4. Известно, что в ящике лежат 20 шаров. Из них 10 - черных, 4 - белых, 4 - желтых и 2 - красный. Какое количество информации несёт сообщения о цвете вынутого шара?

5. В сейфе банкира Богатеева лежат банкноты достоинством 1, 10 или 100 талеров каждая. Банкир раскрыл свой сейф и наугад вытащил из него одну банкноту. Информационный объем сообщения "Из сейфа взята банкнота достоинством в 10 талеров" равен 3 бита. Количество информации, содержащееся в сообщении "Из сейфа взята банкнота достоинством не в 100 талеров", равно 3-log25 бит. Определите информационный объем зрительного сообщения о достоинстве вынутой банкноты.

3. Выполните упражнение

Ниже приведены 11 событий:

1. Первый встречный человек мужского пола.

2. За понедельником будет вторник.

3. За контрольную работу можно получить «отлично».

4. К телефону из пяти членов семьи подойдет младший сын.

6. После лета буде зима.

7. Каждый из 15 учеников, посещающих данные занятия, поступит на математическую специальность.

8. В лотерее победит билет с номером 777777.

9. Подброшенная монетка упадет гербом вверх.

10. На подброшенном кубике выпадет шесть очков.

11. Из выбираемых наугад карточек с цифрами выберем карточку с цифрой 5.

Задание среди 11 событий записать номера тех, которые:

1. Достоверные _________________________________________________

2. Невозможные ________________________________________________

3. Неопределенные______________________________________________

4. Среди неопределенных указать те, которые имеют 2 равновозможных исхода ______________________________________________________

5. Неопределенные события расставить в порядке возрастания числа равновероятных исходов _______________________________________

6. Назвать событие более неопределенное____________________________

7. Назвать событие менее неопределенное. ___________________________

8. Учитывая задания № 6 и № 7, установить зависимость степени неопределенности от числа равновероятных исходов. ____________________________________________________________

9. Сделать тот же вывод, используя понятие вероятности. ____________________________________________________________

Контрольные вопросы:

1. Какие бывают события?

2. Приведите примеры равновероятных и неравновероятных событий?

3. Как определить вероятность выполнения определенного события?

4. При каких событиях применяют формулу Шеннона для определения количества информационного сообщения?

5. При каком условии формула Хартли становится частным случаем формулы Шеннона?

Практическая работа 5 . Решение задач на определение количества информации

Цель работы: приобретение навыка по определению количества информации на основе вероятностного и содержательного подхода

Краткое теоретическое обоснование: В качестве основной характеристики сообщения теория информации принимает величину, называемую количеством информации. Это понятие не затрагивает смысла и важности передаваемого сообщения, а связано со степенью его неопределенности.

Клод Шеннон определил количество информации через энтропию - величину, известную в термодинамике и статистической физике как мера разупорядоченности системы, а за единицу количества информации принял то, что впоследствии назвали битом (bit). Количество информации, приходящееся на один элемент сообщения (знак, букву), называется энтропией. Энтропия и количество информации измеряются в одних и тех же единицах – в битах.

Так как современная информационная техника базируется на элементах, имеющих два устойчивых состояния, то обычно выбирают основание логарифма равным двум, т.е. энтропию выражают как: H0 = log 2 m.

В общем случае количество энтропии H произвольной системы X (случайной величины), которая может находиться в m различных состояниях x 1 , x 2 , … x m c вероятностями p 1 , p 2 , … p m , вычисляют по формуле Шеннона.

Оборудование: дидактические материалы по теме «Определение количества информации».

Последовательность выполнения:

1. Разберите примеры решения задач

Задача 1. Определите количество информации, которое содержится в телевизионном сигнале, соответствующем одному кадру развертки. Пусть в кадре 625 строк, а сигнал, соответствующий одной строке, представляет собой последовательность из 600 случайных по амплитуде импульсов, причем амплитуда импульса может принять любое из 8 значений с шагом

Решение.

В рассматриваемом случае длина сообщения, соответствующая одной строке, равна числу случайных по амплитуде импульсов в ней: n = 600.

Количество элементов сообщения (знаков) в одной строке равно числу значений, которое может принять амплитуда импульсов в строке m = 8.

Количество информации в одной строке: I = n log m = 600 log 8, а количество информации

в кадре: I = 625 I = 625 600 log 8 = 1,125 =106 бит

Задача 2. В велокроссе участвуют 119 спортсменов. Специальное устройство регистрирует прохождение каждым из участников промежуточного финиша, записывая его номер с использованием минимально возможного количества бит, одинакового для каждого спортсмена. Каков информационный объем сообщения, записанного устройством, после того как промежуточный финиш прошли 70 велосипедистов?

1) 70 бит 2) 70 байт 3) 490 бит 4) 119 байт

Решение.

1) велосипедистов было 119, у них 119 разных номеров, то есть, нам нужно закодировать 119 вариантов;

2) по таблице степеней двойки находим, что для этого нужно минимум 7 бит (при этом можно закодировать 128 вариантов, то есть, еще есть запас); итак, 7 бит на один отсчет;

3) когда 70 велосипедистов прошли промежуточный финиш, в память устройства записано 70 отсчетов;

4) поэтому в сообщении 70*7 = 490 бит информации (ответ 3).

2. Решите следующие задачи. Результат оформите в тетради.

1. В зоопарке 32 обезьяны живут в двух вольерах, А и Б. Одна из обезьян – альбинос (вся белая). Сообщение «Обезьяна-альбинос живет в вольере А» содержит 4 бита информации. Сколько обезьян живут в вольере Б?

2. В корзине лежат 32 клубка шерсти, из них 4 красных. Сколько бит информации несет сообщение о том, что достали клубок красной шерсти?

3. Двое играют в «крестики-нолики» на поле 4 на 4 клетки. Какое количество информации получил второй игрок, узнав ход первого игрока?

4. В некоторой стране автомобильный номер длиной 7 символов составляется из заглавных букв (всего используется 26 букв) и десятичных цифр в любом порядке. Каждый символ кодируется одинаковым и минимально возможным количеством бит, а каждый номер – одинаковым и минимально возможным количеством байт. Определите объем памяти, необходимый для хранения 20 автомобильных номеров.

5. В велокроссе участвуют 678 спортсменов. Специальное устройство регистрирует прохождение каждым из участников промежуточного финиша, записывая его номер с использованием минимально возможного количества бит, одинакового для каждого спортсмена. Каков информационный объем сообщения, записанного устройством, после того как промежуточный финиш прошли 200 велосипедистов?

Контрольные вопросы:

1. Дайте определение энтропии.

2. Как связаны между собой понятия количества информации и энтропии?

3. Какие подходы к определению количества информации вам известны?

4. В чем смысл каждого из подходов к определению количества информации?

5. Что называется измерением информации?

6. Какие способы определения количества информации существуют?

7. Дайте определение количества информации.

Практическая работа 6 . Решение задач на определение объема информации

Цель работы: приобретение навыка по определению количества информации на основе алфавитного подхода

Краткое теоретическое обоснование:

Алфавитный подход основан на том, что всякое сообщение можно закодировать с помощью конечной последовательности символов некоторого алфавита.

Алфавит – упорядоченный набор символов, используемый для кодирования сообщений на некотором языке.

Мощность алфавита – количество символов алфавита. Двоичный алфавит содержит 2 символа, его мощность равна двум. Сообщения, записанные с помощью символов ASCII, используют алфавит из 256 символов. Сообщения, записанные по системе UNICODE, используют алфавит из 65 536 символов.

Чтобы определить объем информации в сообщении при алфавитном подходе, нужно последовательно решить задачи:

1. Определить количество информации (i) в одном символе по формуле

2 i = N, где N - мощность алфавита.

2. Определить количество символов в сообщении (m).

3. Вычислить объем информации по формуле: I = i * K.

Количество информации во всем тексте (I), состоящем из K символов, равно произведению информационного веса символа на К:

I = i * К.

Эта величина является информационным объемом текста.

Единицы измерения информации

Основная единица измерения информации –бит. 8 бит составляют 1 байт . Наряду с байтами для измерения количества информации используются более крупные единицы:

1 Кбайт = 2 10 байт = 1024 байта;

1 Мбайт = 2 10 Кбайт = 1024 Кбайт;

1 Гбайт = 2 10 Мбайт = 1024 Мбайт.

1 Терабайт (Тб) = 1024 Гбайт = 2 40 байта,

1 Петабайт (Пб) = 1024 Тбайта = 2 50 байта.

Оборудование: дидактические материалы по теме «Определение количества информации».

Последовательность выполнения:

1. Разберите примеры решения задач и запишите их в тетрадь.

Задача 1. Для записи текста использовался 256-символьный алфавит. Каждая страница содержит 32 строки по 64 символа в строке. Какой объем информации содержат 5 страниц этого текста?

Решение:

N=256, => 2 i = 256, => i=8 bit

k=32*64*5 символов

I=i*k=8*32*64*5 bit = 8*32*64*5/8 b = 32*64*5/1024 kb = 10 kb

Задача 2. Можно ли уместить на одну дискету книгу, имеющую 432 страницы, причем на каждой странице этой книги 46 строк, а в каждой строке 62 символа?

Решение :

Т.к. речь идет о книге, напечатанной в электронном виде, то мы имеем дело с компьютерным языком. Тогда N=256, => 2 i = 256, => i=8 bit

k = 46*62*432 символов

I = i*k = 8*46*62*432 bit = 8*46*62*432/8 b = 46*62*432/1024 kb = 1203,1875 kb = 1,17 Mb

Т.к. объем дискеты 1,44 Mb, а объем книги 1,17 Mb, то она на дискету уместится.

Задача 3 . Скорость информационного потока – 20 бит/с. Сколько минут потребуется для передачи информации объемом в 10 килобайт.

Решение :

t = I/v = 10 kb/ 20 бит/c = 10*1024 бит/ 20 бит/c = 512 c = 8,5 мин

Задача 4 . Лазерный принтер печатает со скоростью в среднем 7 Кбит в секунду. Сколько времени понадобится для распечатки 12-ти страничного документа, если известно, что на одной странице в среднем по 45 строк, в строке 60 символов.

Решение :

Т.к. речь идет о документе в электронном виде, готовым к печати на принтере, то мы имеем дело с компьютерным языком. Тогда N=256, => 2 i = 256, => i=8 bit

K = 45*60*12 символов

I = i*k = 8*45*60*12 bit = 8*45*60*12/8 b = 45*60*12/1024 kb = 31,6 kb

t = I/v = 31,6 kb/ 7 Кбит/c = 31,6*8 kбит/ 7 Кбит/c = 36 c

Задача 5. Автоматическое устройство осуществило перекодировку информационного сообщения на русском языке, из кодировки Unicode, в кодировку КОИ-8. При этом информационное сообщение уменьшилось на 480 бит. Какова длина сообщения?

Решение :

Объем 1 символа вкодировке КОИ-8 равен 1 байту, а в кодировке Unicode – 2 байтам.

Пусть x – длина сообщения, тогда I КОИ-8 = 1*x b, а I Unicode = 2*x b.

Получаем 2*x8 bит – 1*x*8 бит = 480 бит, 8x = 480, х = 60 символов в сообщении.

2. Решите следующие задачи. Результат оформите в тетради.

1. Некоторый алфавит содержит 128 символов. Сообщение содержит 10 символов. Определите объем сообщения.

2. Считая, что один символ кодируется 8-ю битами, оцените информационный объем следующей поговорки в кодировке КОИ-8: Верный друг лучше сотни слуг.

3. Один и тот же текст на русском языке записан в различных кодировках. Текст, записанный в 16-битной кодировке Unicode, на 120 бит больше текста, записанного в 8-битной кодировке КОИ-8. Сколько символов содержит текст?

4. Сколько гигабайт содержит файл объемом 235 бит?

5. Текстовый файл copia.txt имеет объем 40960 байт. Сколько таких файлов можно записать на носитель объемом 5 Мбайт?

6. К текстовому сообщению объемом 46080 байт добавили рисунок объемом 2,5 Мбайт. Сколько кбайт информации содержит полученное сообщение?

7. В алфавите некоторого языка два символа Х и О. Слово состоит из четырех символов, например: ООХО, ХООХ. Укажите максимально возможное количество слов в этом языке.

8. Для записи текста использовался 64-символьный алфавит. Сколько символов в тексте, если его объем равен 8190 бита?

9. Укажите наибольшее натуральное число, которое можно закодировать 8 битами (если все числа кодируется последовательно, начиная с единицы).

10. Некоторый алфавит содержит 2 символа. Сообщение занимает 2 страницы, на каждой по 16 строк, и в каждой строке по 32 символа. Определите объем сообщения.

11. Сколько бит информации содержится в сообщении объемом 1/4 килобайта?

12. Найдите х из следующего соотношения: 8х бит = 16 Мбайт.

13. Цветное растровое графическое изображение с палитрой 256 цветов имеет размер 64х128 пикселей. Какой информационный объем имеет изображение?

14. Для хранения растрового изображения размером 64х128 пикселей отвели 4 Кбайта памяти. Каково максимально возможное количество цветов в палитре изображения?

Контрольные вопросы:

1. Как измеряется информация при содержательном подходе?

2. В чем заключается алфавитный подход к определению количества информации?

3. Что такое алфавит? Что называется мощностью алфавита? Что называется объемом информации?

4. Чему равен информационный вес символа компьютерного алфавита?

6. Почему информационная емкость русской буквы «а» больше информационной ёмкости английской буквы?

7. Какие единицы измерения информации существуют?

Практическая работа7 . Комплексная работа по определению количества информации

Цель работы: контроль навыков определения количества информации.

Краткое теоретическое обоснование: см.практические работы 1-6.

Оборудование: Контрольные материалы из КОС по дисциплине «Основы теории информации»

Последовательность выполнения:

· Выполните ТЗ№1. Тест 3. Единицы измерения информации. В тесте необходимо выбрать только один ответ из предложенных вариантов. Выполнять тест лучше самостоятельно, без применения конспектов, учебников и прочей вспомогательной литературы.

· Выполните ПЗ№2. Задачи 1-10.

Лабораторная работа № 1

ОПРЕДЕЛЕНИЕ КОЛИЧЕСТВА ИНФОРМАЦИИ В СООБЩЕНИИ

1 Цель и содержание

Ввести понятие «количество информации»; сформировать у студентов понимание вероятности, равновероятных и неравновероятных событий; научить студентов определять количество информации.

Данное практическое занятие содержит сведения о подходах к определению количества информации в сообщении.

2 Теоретическое обоснование

2.1 Введение понятия «количество информации»

В основе нашего мира лежат три составляющие вещество, энергия и информация. А как много в мире вещества, энергии и информации? Можно измерить количество вещества, например взвесив его. Можно определить количество тепловой энергии в Джоулях, электроэнергии в киловатт/часах и т. д.

А можно ли измерить количество информации и как это сделать? Оказывается, информацию также можно измерять и находить ее количество. Количество информации в сообщении зависит от его информативности. Если в сообщении содержатся новые и понятные сведения , то такое сообщение называется информативным .

Например, содержит ли информацию учебник информатики для студентов, обучающихся в университете? (Ответ да). Для кого он будет информативным для студентов, обучающихся в университете или учеников 1 класса? (Ответ для студентов, обучающихся в университете он будет информативным, так как в нем содержится новая и понятная ему информация, а для учеников 1 класса он информативным не будет, так как информация для него непонятна).

Количество информации в некотором сообщении равно нулю, если оно с точки зрения конкретного человека неинформативно. Количество информации в информативном сообщении больше нуля.

Но информативность сообщения сама по себе не дает точного определения количества информации. По информативности можно судить только о том, много информации или мало.

2.2 Вероятностный подход к определению количества информации

Если некоторое сообщение является информативным, следовательно, оно пополняет нас знаниями или уменьшает неопределенность наших знаний. Другими словами сообщение содержит информацию, если оно приводит к уменьшению неопределенности наших знаний.

Например, мы бросаем монету и пытаемся угадать, какой стороной она упадет на поверхность. Возможен один результат из двух: монета окажется в положение «орел» или «решка». Каждое из этих двух событий окажется равновероятным, т. е. ни одно из них не имеет преимущества перед другим.

Перед броском монеты мы точно не знаем, как она упадет. Это событие предсказать невозможно, т. е. перед броском существует неопределенность нашего знания (возможно одно событие из двух). После броска наступает полная определенность знания, т. к. мы получает зрительное сообщение о положении монеты. Это зрительное сообщение уменьшает неопределенность нашего знания в два раза, т. к. из двух равновероятных событий произошло одно.

Если мы кидаем шестигранный кубик, то мы также не знаем перед броском, какой стороной он упадет на поверхность. В этом случае, возможно получить один результат из шести равновероятных . Неопределенность знаний равна шести , т. к. именно шесть равновероятных событий может произойти. Когда после броска кубика мы получаем зрительное сообщение о результате, то неопределенность наших знаний уменьшается в шесть раз .

Контрольный пример . На экзамене приготовлено 30 билетов.

Чему равно количество событий, которые могут произойти при вытягивании билета? (Ответ 30).
Равновероятны эти события или нет? (Ответ равновероятны).
Чему равна неопределенность знаний студента перед тем как он вытянет билет? (Ответ 30).
Во сколько раз уменьшится неопределенность знаний после того как студент билет вытянул? (Ответ в 30 раз).
Зависит ли этот показатель от номера вытянутого билета? (Ответ нет, т. к. события равновероятны).

Можно сделать следующий вывод.

Чем больше начальное число возможных равновероятных событий, тем в большее количество раз уменьшается неопределенность наших знаний, и тем большее количество информации будет содержать сообщение о результатах опыта.

Для того, чтобы количество информации имело положительное значение, необходимо получить сообщение о том, что произошло событие как минимум из двух равновероятных. Такое количество информации, которое находится в сообщении о том, что произошло одно событие из двух равновероятных, принято за единицу измерения информации и равно 1 биту .

Таким образом 1 бит это количество информации, уменьшающее неопределенность знаний в два раза .

Группа из 8 битов информации называется байтом . Если бит минимальная единица информации, то байт ее основная единица. Существуют производные единицы информации: килобайт (Кбайт, Кбт), мегабайт (Мбайт, Мбт) и гигабайт (Гбайт, Гбт).

1 Кбт = 1024 байта = 2 10 (1024) байтов.

1 Мбт = 1024 Кбайта = 2 20 (1024 1024) байтов.

1 Гбт = 1024 Мбайта = 2 30 (1024 1024 1024) байтов.

Существует формула, которая связывает между собой количество возможных событий и количество информации:

N = 2 i ,

где N количество возможных вариантов;

I количество информации.

Отсюда можно выразить количество информации в сообщении об одном из N равновероятных событий: I = log 2 N .

Контрольный пример . Пусть имеется колода карт, содержащая 32 различные кары. Мы вытаскиваем одну карту из колоды. Какое количество информации мы получим?

Количество возможных вариантов выбора карты из колоды 32 (N = 32) и все события равновероятны. Воспользуемся формулой определения количества информации для равновероятных событий I = log 2 N = log 2 32 = 5 (32 = 2 i ; 2 5 = 2 i ; отсюда I = 5 бит).

Если количество возможных вариантов N является целой степенью числа 2, то производить вычисления по формуле N = 2 i достаточно легко. Если же количество возможных вариантов не является целой степенью числа 2, то необходимо воспользоваться инженерным калькулятором; формулу I = log 2 N представить как и произвести необходимые вычисления.

Контрольный пример . Какое количество информации можно получить при угадывании числа из интервала от 1 до 11?

В этом примере N = 11. Число 11 не является степенью числа 2, поэтому воспользуемся инженерным калькулятором и произведем вычисления для определения I (количества информации). I = 3,45943 бит.

2.3 Неравновероятные события

Очень часто в жизни мы сталкиваемся с событиями, которые имеют разную вероятность реализации. Например:

1. Когда сообщают прогноз погоды, то сведения о том, что будет дождь, более вероятны летом, а сообщение о снеге зимой.

2. Если вы лучший студент в группе, то вероятность сообщения о том, что за контрольную работу вы получите 5, больше, чем вероятность получения двойки.

3. Если в мешке лежит 10 белых шаров и 3 черных, то вероятность достать черный шар меньше, чем вероятность вытаскивания белого.

Как вычислить количество информации в сообщении о таком событии? Для этого необходимо использовать следующую формулу:

где I это количество информации;

p вероятность события.

Вероятность события выражается в долях единицы и вычисляется по формуле: где K величина, показывающая, сколько раз произошло интересующее нас событие; N общее число возможных исходов какого-то процесса.

Контрольный пример . В мешке находятся 20 шаров. Из них 15 белых и 5 красных. Какое количество информации несет сообщение о том, что достали: а) белый шар; б) красный шар. Сравните ответы.

1. Найдем вероятность того, что достали белый шар:

2. Найдем вероятность того, что достали красный шар:

3. Найдем количество информации в сообщении о вытаскивании белого шара: бит.

4. Найдем количество информации в сообщении о вытаскивании красного шара: бит.

Количество информации в сообщении о том, что достали белый шар, равно 1, 1547 бит. Количество информации в сообщении о том, что достали красный шар, равно 2 бит.

При сравнении ответов получается следующая ситуация: вероятность вытаскивания белого шара была больше, чем вероятность красного шара, а информации при этом получилось меньше. Это не случайность, а закономерная, качественная связь между вероятностью события и количеством информации в сообщении об этом событии.

2.4 Алфавитный подход к измерению количества информации

При определения количества информации с помощью вероятностного подхода количество информации зависит от ее содержания, понятности и новизны. Однако любое техническое устройство не воспринимает содержание информации. Поэтому с этой точки зрения используется другой подход к измерению информации алфавитный.

Предположим, что у нас есть текст, написанный на русском языке. Он состоит из букв русского алфавита, цифр, знаков препинания. Для простоты будем считать, что символы в тексте присутствуют с одинаковой вероятностью.

Множество используемых в тексте символов называется алфавитом. В информатике под алфавитом понимают не только буквы, но и цифры, и знаки препинания, и другие специальные знаки. У алфавита есть размер (полное количество его символов), который называется мощностью алфавита. Обозначим мощность алфавита через N . Тогда воспользуемся формулой для нахождения количества информации из вероятностного подхода: I = log 2 N . Для расчета количества информации по этой формуле нам необходимо найти мощность алфавита N .

Контрольный пример . Найти объем информации, содержащейся в тексте из 3000 символов, и написанном русскими буквами.

1. Найдем мощность алфавита:

N = 33 русских прописных буквы + 33 русских строчных буквы + 21 специальный знак = 87 символов.

2. Подставим в формулу и рассчитаем количество информации:

I = log 2 87 = 6,4 бита.

Такое количество информации информационный объем несет один символ в русском тексте. Теперь, чтобы найти количество информации во всем тексте, нужно найти общее количество символов в нем и умножить на информационный объем одного символа. Пусть в тексте 3000 символов.

6,4 3000 = 19140 бит.

Теперь дадим задание переводчику перевести этот текст на немецкий язык. Причем так, чтобы в тексте осталось 3000 символов. Содержание текста при этом осталось точно такое же. Поэтому с точки зрения вероятностного подхода количество информации также не изменится, т. е. новых и понятных знаний не прибавилось и не убавилось.

Контрольный пример . Найти количество информации, содержащейся в немецком тексте с таким же количеством символов.

1. Найдем мощность немецкого алфавита:

N = 26 немецких прописных буквы + 26 немецких строчных букв + 21 специальный знак = 73 символа.

2. Найдем информационный объем одного символа:

I = log 2 73 = 6,1 бит.

3. Найдем объем всего текста:

6,1 3000 = 18300 бит.

Сравнивая объемы информации русского текста и немецкого, мы видим, что на немецком языке информации меньше, чем на русском. Но ведь содержание не изменилось! Следовательно, при алфавитном подходе к измерению информации ее количество не зависит от содержания, а зависит от мощности алфавита и количества символов в тексте. С точки зрения алфавитного подхода, в толстой книге информации больше, чем в тонкой. При этом содержание книги не учитывается.

Правило для измерения информации с точки зрения алфавитного подхода:

Найти мощность алфавита N.
Найти информационный объем одного символа I = log 2 N .
Найти количество символов в сообщении K .
Найти информационный объем всего сообщения K I ..

Контрольный пример . Найти информационный объем страницы компьютерного текста.

Примечание . В компьютере используется свой алфавит, который содержит 256 символов.

1. Найдем информационный объем одного символа:

I = log 2 N, где N = 256.

I = log 2 256 = 8 бит = 1 байт .

2. Найдем количество символов на странице (примерно, перемножив количество символов в одной строке на количество строк на странице).

40 символов на одной строке 50 строк на странице = 2000 символов.

3. Найдем информационный объем всей страницы:

1 байт 2000 символов = 2000 байт.

Информационный объем одного символа несет как раз 1 байт информации. Поэтому достаточно подсчитать количество символов в тексте, которое и даст объем текста в байтах.

Например, если в тексте 3000 символов, то его информационный объем равен 3000 байтам.

3 Задания

1. Какое количество информации будет получено при отгадывании числа из интервала от 1 до 64; от 1 до 20?

2. Какое количество информации будет получено после первого хода в игре «крестики-нолики» на поле 3 x 3; 4 x 4?

3. Сколько могло произойти событий, если при реализации одного из них получилось 6 бит информации?

4. В коробке лежат кубики: 10 красных, 8 зеленых, 5 желтых, 12 синих. Вычислите вероятность доставания кубика каждого цвета и количество информации, которое при этом будет получено.

5. В коробке лежат 36 кубиков: красные, зеленые, желтые, синие. Сообщение о том, что достали зеленый кубик, несет 3 бита информации. Сколько зеленых кубиков было в коробке.

6. В группе учатся 12 девочек и 8 мальчиков. Какое количество информации несет сообщение, что к доске вызовут девочку; мальчика?

7. Найти объем текста, записанного на языке, алфавит которого содержит 128 символов и 2000 символов в сообщении.

8. Найти информационный объем книги в 130 страниц.

9. Расположите в порядке возрастания:

1 Мбт, 1010 Кбт, 10 000 бит, 1 Гбт, 512 байт.

10. В пропущенные места поставьте знаки сравнения <, >, =:

1 Гбт … 1024 Кбт … 10 000 бит … 1 Мбт … 1024 байт.

4 Контрольные вопросы

1. Какое сообщение называется информативным?

2. Что значит событие равновероятно; неравновероятно?

3. Что такое 1 бит информации?

4. Как определить количество информации для равновероятных событий?

5. Как определить количество информации для неравновероятных событий?

6. В чем заключается алфавитный подход к измерению количества информации

5 Домашняя работа

1.Установите знаки сравнения (<, > , =):

1байт 32бита 4байта 1Мбайт 1024Кбайт

2.Упорядочите по убыванию:

5байт 25бит 1Кбайт 1010байт

3.Упорядочите по возрастанию:

2Мбайта 13байт 48бит 2083Кбайт

4.Книга содержит 100 страниц; на каждой странице по 35 строк, в каждой строке - 50 символов. Рассчитать объем информации, содержащийся в книге.

5.Имеется следующая черно-белая картинка. Определите информационный объем этой картинки.

6.В языке племени Мумбо-Юмбо всего 129 разных слов. Сколько бит нужно чтобы закодировать любое из этих слов?

8.Дана черно-белая картинка. Определите количество информации, содержащейся в картинке.

9.Информационный объем черно-белой картинки равен 6000бит. Какое количество точек содержит картинка