Мерна единица за количеството информация
За да се определи количествено всяка величина, е необходимо да се определи мерната единица. За да определите количеството информация, трябва да въведете и мерна единица.За единица количество информация се приема количеството информация, което съдържа съобщение, което намалява степента на несигурност наполовина. Такава единица се наричаbit.Съобщение, което намалява степента на несигурност наполовина, носи 1 бит информация. Съобщение за едно събитие от две равновероятни носи 1 бит информация.
Формула на Хартли.
Нека някое съобщение съдържа информация, че е настъпило едно от N равновероятни събития. Тогава количеството информация, съдържащо се в това съобщение, е i бит, а числото N - броят на събитията са свързани по формулата: 2 i = N.
Тази формула е експоненциално уравнение за неизвестнотоi. От математиката е известно, че решението на такова уравнение има формата:
(логаритъм от N към основа 2). (1)
Ако N е цяло число на две (2,4,8 и т.н.), тогава такова уравнение може да бъде решено наум. В противен случай количеството информация се превръща в нецяло число и за да разрешите проблема, ще трябва да използвате таблица с логаритми.
Формула (1) е частен случай на формулата на Р. Хартли, която в общия случай има формата:
Тук H е количеството информация, k е коефициентът на пропорционалност, m е броят на възможните избори, a е основата на логаритъма. Най-често се приема k = 1 и a = 2.
1. При хвърляне на монета съобщението за резултатите (headed) носи 1 бит информация. И двата варианта са еднакво вероятни. 2i=2 следователноi= 1 бит.
2. В лотарийния барабан има 32 топки. Колко информация съдържа съобщението за първото изтеглено число?
Дадено е: N = 32(брой събития)
Решение: по формулата определяме i - количеството информация
, по дефиницията на логаритъма получаваме i = 5
Отговор: Съобщението носи 5 бита информация.
3. Какъв беше броят на възможните събития, ако след изпълнението на едно от тях получихме количество информация, равно на 3 бита? 7 бита?
a) Дадено: i = 3 (количество информация)
Решение: , по дефиницията на логаритъма (2 3 = 8) получаваме N = 8
Отговор: Имаше 8 възможни събития.
b) Дадено: i = 7 (количество информация)
Решение: , по дефиниция на логаритъма (2 7 = 128) получаваме N =128
Отговор: Имаше 128 възможни събития.
Формула на Шанън.
Има много ситуации, при които възможните събития имат различни вероятности за реализация. Например, ако една монета не е симетрична (едната страна е по-тежка от другата), тогава, когато бъде хвърлена, вероятностите за получаване на глави и опашки ще се различават.
Помислете за друг пример: в кутия има 50 топки, 40 от които са бели и 10 са черни. Очевидно е, че вероятността да уцелите бяла топка, когато теглите "без да гледате", е по-голяма от вероятността да уцелите черна.
Нашето качествено заключение за вероятностите на събитията в разглеждания пример е интуитивно разбираемо. Вероятността обаче може да бъде изразена количествено.
В нашия пример: нека означим срч –вероятността за попадение при теглене на черна топка,рб- вероятността за попадение при изтегляне на бяла топка; тогава:rc= 10/50 = 0,2,rb= 40/50 = 0,8; следователно вероятността да уцелите бяла топка е 4 пъти по-голяма от тази на черна.
От разгледания пример можем да заключим: акоN е общият брой възможни резултати от някакъв процес(изваждане на топката, получаване на оценка и т.н.),и от тях този, който ни интересувасъбитие(теглене на бяла топка, получаване на петица) може да се случиK пъти, това събитие е равно на K/N.
Вероятността се изразява в части от едно. В конкретен случай вероятността за определено събитие е 1 (от 50 бели топки се тегли бяла); вероятността за невъзможно събитие е нула (черна топка се тегли от 50 бели топки).
Качествената връзка между вероятността за събитие и количеството информация в съобщение за това събитие може да се изрази по следния начин:колкото по-ниска е вероятността за събитие, толкова повече информация съдържа съобщението за това събитие.
Формулата за изчисляване на количеството информация за събития с различни вероятности е предложена от К. Шанън през 1948 г. В този случай количествената връзка между вероятността за събитие (p) и количеството информация в съобщението за него се изразява с формулата:
(2).
В нашия пример: количеството информация в съобщението за удряне на бяла и черна топка:
малко;
малко.
По-удобно е да се използва като мярка за количеството информация не стойносттаi,, а средната стойност на количеството информация, свързана с изпълнението на едно от възможните събития:
(3).
къдетоIе количеството информация,
N е броят на възможните събития,
pi са вероятностите за отделни събития.
В нашия пример: количеството информация, която ще получим в съобщението за удряне на бяла или черна топка (след изпълнението на едно от възможните събития):
За конкретен, но широко разпространен и разгледан по-горе случай, когато събитията са еднакво вероятни (pi = I/N), количеството информация I може да се изчисли по формулата:
(4).
В горния пример условията се променят, както следва: кутията съдържа 50 номерирани топки от едно и същоцветове; количеството информация, което ще получим със съобщението „взехме топката с номер 25“ ще се определя по формулата
I = Iog250 = 5,64386 бита.
Така, когато събитията са еднакво вероятни, ще получим повече информация (5,64386 бита), отколкото когато събитията не са еднакво вероятни (2,282892 бита).
Количеството информация, което получаваме, достига максималната си стойност, ако събитията са еднакво вероятни.
1. В една кошница има 32 топки вълна. Сред тях има 4 червени. Колко информация носи съобщението, че са извадили кълбо червена вълна?
1. Намерете вероятността за събитие - ударена червена топка вълна: pk = 4/32 = 1/8
2. Използвайки формула (2), ние определяме количеството информация, която носи битът на съобщението „получих червено кълбо вълна“.
Отговор: съобщението "получих червена топка вълна" носи 3 бита информация.
2. В кутията има 64 цветни молива. Съобщението, че е изваден бял молив, носи 4 бита информация. Колко бели молива имаше в кошницата?
1. Намерете вероятността за събитието - удар с бял молив: pb \u003d K / 64
2. По формула (2) съставяме следния израз
3. По дефиниция на логаритъма: 2 4 =64/K -> 16K=64 -> К=4
Отговор: Има 4 бели молива в кутия с цветни моливи.