Измерение информации. Содержательный (вероятностный) подход презентация

Д/З
Задача 2
Создать два графических объекта с одним образом, используя в одном случае
аналоговое представление информации, в другом – дискретное.
Инфрмативность
1 бит
Основная формула информатики
Формула Хартли
Задачи 1-16
В корзине лежит 8 черных шаров и 24 белых. Сколько информации несет
сообщение о том какой шар достали?

Количество информации
МНОГО
МАЛО

Количество информации
МНОГО
МАЛО

Количество информации
ИНФОРМАТИВНО
НЕИНФОРМАТИВНО

Количество информации
Содержит информацию
Информативно
Неинформативно
???
!!!

Вывод:
количество информации зависит от информативности.
Количество информации = 0
Количество информации = 0
СКОЛЬКО?

Содержательный подход к измерению информации
это результаты, которые не имеют
преимущества перед другим.
Равновероятные результаты —

Содержательный подход к измерению информации
это результаты, которые не имеют
преимущества перед другим.
Равновероятные результаты —
Неопределённость знания о результате равна 2.
Что выпадет?

Содержательный подход к измерению информации
это результаты, которые не имеют
преимущества перед другим.
Равновероятные результаты —
Неопределённость знания о результате равна 6.
Что выпадет?

Содержательный подход к измерению информации
это результаты, которые не имеют
преимущества перед другим.
Равновероятные результаты —
В забеге участвует 100 спортсменов.
Неопределённость знания о результате равна 100.

Содержательный подход к измерению информации
это количество возможных результатов
исхода события.
Неопределённость знания о результате некоторого события —
это жеребьёвка спортсменов.
Событие —
спортсмену выпал номер 34.
Исход —

Неопределённость знания
1 пример
2 пример
3 пример
...
Наибольшее количество информации
, т. к. неопределённость знания об исходе события
наибольшая.

Вывод:
чем больше начальное число возможных равновероятных событий, тем в большее количество раз уменьшается неопределенность наших знаний, и тем большее количество информации будет содержать сообщение о результатах события.

Теория информации
это снятая неопределённость
знания человека об исходе какого-
то события.
Информация —
Клод Шеннон
(1916−2001)

Существует неопределенность знаний?
Количество информации=0

Вывод:
Мы не получаем информации в ситуации, когдапроисходит одно событие из одного возможного. Количество информации в этом случае равно нулю.

Существует неопределенность знаний?

Вывод:
Чтобы количество информации имело положительное значение, необходимо получить сообщение о том, что произошло событие как минимум из двух равновероятных.

Содержательный подход к измерению информации
Определился 1 из двух возможных результатов.
Неопределённость знания уменьшилась в 2 раза.
Узнав результат бросания монеты, вы получили 1 бит информации.
это сообщение об одном из двух
равновероятных результатов
некоторого события.
1 бит —
это сообщение, уменьшающее
неопределённость знания об
исходе некоторого события в два
раза.
1 бит —

Пример
Вы выходите на следующей остановке?
Нет!
это сообщение, уменьшающее
неопределённость знания об
исходе некоторого события в
два раза.
1 бит —
Сколько информации содержит ответ?

Пример
Занятия могут состояться в одном из кабинетов, номера которых от 1 до 16. Ученики
спросили у учителя: «В каком кабинете будут проходить занятия?» На что учитель им
ответил: «Угадайте ответ за четыре вопроса, на которые я могу дать ответ “Да” или
“Нет”».

Номер
кабинета меньше 9?
Да!
Номер
кабинета больше 4?
Да!
Номер
кабинета чётный?
Нет!
Номер
кабинета 5?
Нет!
Номер
кабинета − 7!!!

Сколько информации получили ученики?

Первоначальные варианты:
Варианты после 1-го
вопроса
Варианты после 2-го
вопроса
Варианты после 3-го
вопроса
Варианты после 4-го
вопроса
1 бит информации
1 бит информации
1 бит информации
1 бит информации
1 бит + 1 бит + 1 бит + 1 бит = 4 бита
Вывод:

Содержательный подход к измерению информации
это метод, в котором ответ на каждый
заданный вопрос уменьшает
неопределённость знания, имеющуюся перед
ответом на этот вопрос, наполовину.
Каждый такой ответ несёт 1 бит информации.
Метод половинного деления —
Загадай число от 1 до 32!
Загадала!
Я угадаю его за 5 вопросов!

Содержательный подход к измерению информации
несёт сообщение об одном из двух
равновероятных исходов некоторого
события.
1 бит информации
несёт сообщение об одном из четырёх
равновероятных исходов некоторого
события.
2 бита информации
несёт сообщение об одном из восьми
равновероятных исходов некоторого
события.
3 бита информации
количество возможных исходов
события (неопределённость знания).
N −
количество информации в сообщении
об одном из N результатов.
i -

Содержательный подход к измерению информации
Пример с монетой
Пример с кабинетом
Пример с числом

Содержательный подход к измерению информации
− показательное уравнение.
количество возможных исходов
события (неопределённость знания).
количество информации в сообщении
об одном из N результатов.

Пример
В коробке лежало 64 разноцветных катушки ниток.
Сколько информации несёт сообщение о том, что из коробки достали
жёлтую катушку?

В коробке лежало 64 разноцветных катушки ниток.
Сколько информации несёт сообщение о том, что из коробки достали жёлтую катушку?
Решение:
Пример

Пример
В скором поезде Москва – Санкт-Петербург 8 вагонов, в каждом вагоне 32
места.
Определить, какое количество информации несёт сообщение о том, что вам
купили билет в 6 вагон, 13 место.

Пример
Требуется угадать задуманное число из диапазона целых чисел, например,
от 1 до 128.
Чему равно количество информации в сообщении о том, что загаданное
число − 89?
Загадай число от 1 до 128.

функция, с помощью которой решаются
показательные уравнения.
Логарифм —
Содержательный подход к измерению информации
Основание

Значения логарифмов