Съкращаванесъобщения
Значението на думата "излишък на съобщения" в Голямата съветска енциклопедия
се проявява в способността да се пишат тези съобщения средно по-сбито, като се използват едни и същи знаци (т.е. замяна на кода с друг със същата азбука; вижтеКод,Кодиране). Например, ако въпросните съобщения са поредици от знаци 0 и 1, в които единицата се среща средно веднъж на десет знака, тогава, прилагайки кодирането съгласно правилото
00 ® 0, 01 ® 10, 10 ® 110, 11 ® 111,
може да се намали почти наполовина. Максималният дял на "допълнителните" знаци се определя от статистическите свойства на разглеждания източник на съобщение и се нарича също негов излишък. В това разбиранеИзлишъкът на съобщениетоRсе определя от формулата, къдетоmе броят на буквите от азбуката, аHеентропиятана източника за буква на съобщението. Можем да изчислим, че в горния примерИзлишъкът на съобщенията е 0,53. Минималнатаизлишност на съобщениетоR= 0 е само последователност, в която знаците са независими и с вероятност 1/mможе да бъде равно на всяка отmбукви от азбуката.
От практическо значение е въпросът за оценката на излишъка на специфични форми на комуникация (като писмена и устна реч, фототелеграми, телевизионни изображения). СтойносттаИзлишък на съобщението в тях обикновено е значителна. Така, например,Излишъкът на съобщенията на писмен английски е не по-малък от 0,6. Големият излишък позволява по-добро разпознаване на предаваните съобщения при наличие на смущения в комуникационните канали. От тази гледна точка човек не трябва винаги да се стреми да намалиизлишъка на съобщенията