Структурни мерки за информация
Структурните мерки за информация се използват за оценка на възможностите на оборудването или съобщенията, независимо от условията за тяхното използване.
В структурната теория се разграничават геометрични, комбинаторни и адитивни мерки за информация.
Геометрична мярка се използва за определяне на потенциала, т.е. възможно най-голямото количество информация в дадените структурни измерения. Това количество се наричаинформационен капацитет на изследваната част от системата. Определянето на количеството информация чрез геометричния метод се свежда до измерване на дължината, площта или обема на геометричния модел на изследваната система. В този случай мерната единица екванти, които са неделими части. Техният физически смисъл може да бъде различен. Например, ако една памет (устройство с памет) има информационен капацитет от 1 kbit (1024 1), тогава под квант тук се разбира една елементарна клетка от паметта, която съхранява 1 бит информация. Ако паметта има организация (256 4), тогава квантът означава четири елементарни клетки на паметта.
Комбинаторна мярка се използва, когато се изисква да се оцени възможността за предаване на информация с помощта на различни комбинации от информационни елементи.
При формиране на съобщения се използват следните основни видове буквени комбинации:
– комбинации отhбукви от ; комбинациите тук се различават по състава на буквите;
– пермутациите наhбукви се различават по реда си;
– разположението на буквитеhсе различава както по състава на буквите, така и по реда им.
Количеството информация в комбинаторна мярка съвпада с броя на възможните комбинации от букви.
Допълнителна мярка (мярка на Хартли) се използва за определяне на количеството информация в съобщението, без да се взема предвид реалната вероятност за поява на отделни букви (приема сесъщото), възможна статистическа връзка между буквите и свойствата на комуникационния канал.
Нека се предава съобщение с дължинаnи размерът на използваната азбука еm. Очевидно е, че с такава структура може да се получи
(1.2)
Колкото повечеN, толкова по-голяма е априорната несигурност на ситуацията и, следователно, толкова повече информация ще бъде получена в резултат на получаване на конкретно съобщение. Въпреки това, изразът (1.2) не може да се използва директно за количествено определяне на информацията в съобщение, тъй като тук не се поддържа принципът на адитивност - пропорционалност между дължината на съобщениетоnи количеството информация, съдържаща се в негоN(едно от основните изисквания за информационни мерки). Но тъй катоNсе определя еднозначно от структурата на съобщението, препоръчително е да се използва някаква функция за количествено определяне на информацията в него, така чеIда удовлетворява принципа на адитивността.
В математическа форма изискването за адитивност е написано, както следва:
(1.3)
Диференцирайки (1.2) по отношение наnи вземайки предвид (1.3), след прости трансформации, получаваме следния израз заI:
(1.4)
В тази мярка 1 бит се приема като единица от количеството информация, съответстващо на количеството информация, определено от (1.4) за най-простата ситуация:n=1,m=2.
Изразът (1.4) е получен за първи път от Р. Хартли, поради което разглежданата мярка се нарича ощемярка на Хартли. Тя ви позволява да определите потенциалното количество информация в съобщение с дадена структура.