Бит - най-малката единица информация
Разнообразието е от съществено значение при предаването на информация. Не можеш да рисуваш бяло върху бяло, едно състояние не стига. Ако една клетка от паметта може да бъдесамо в едно(първоначално) състояние и не може да променя състоянието си под външно въздействие, това означава, че тя не е в състояние да възприема и съхранява информация. Информационният капацитет на такава клетка е 0.
Минималното разнообразие се осигурява от наличието надвесъстояния. Ако клетката на паметта е в състояние, в зависимост от външно влияние, да заеме едно от двете състояния, които условно се означават с "0" и "1", тя имаминимален информационен капацитет.
За единица за измерване на количеството информация се приема информационният капацитет на една клетка от паметта, способна да бъде в две различни състояния - 1 бит.
1 бит(bitе съкращение от английскиbinary digit- двоично число) е единица заинформационен капацитетиколичество информация, както и още една стойност -информационна ентропия, с която ще се запознаем по-късно. Бит, една от най-безусловните мерни единици. Ако единицата за измерване на дължина може да бъде зададена произволно: лакът, фут, метър, тогава единицата за измерване на информация не би могла да бъде по същество друга.
На физическо ниво битеклетка от паметта, която е в едно от двете състояния по всяко време: „0“или „1“.
Ако всяка точка от някое изображение може да бъде самочернаилибяла, такова изображение се нарича растерна карта, тъй като всяка точка е клетка от паметта с капацитет 1 бит. Електрическа крушка, която може или да "свети" или"изключено" също символизира малко. Класически пример, илюстриращ 1 бит информация - количеството информация, получено в резултат на хвърляне на монета - “глави” или “опашки”.
Количеството информация, равно на 1 бит, може да бъде получено в отговор на въпрос като "да" / "не". Ако първоначално е имало повече от два варианта за отговор, количеството информация, получена в конкретен отговор, ще бъде повече от 1 бит, ако има по-малко от два варианта за отговор, т.е. едно, тогава това не е въпрос, а твърдение, следователно не се изисква получаване на информация, тъй като няманесигурност.
Информационният капацитет на клетка с памет, способна да приема информация, не може да бъде по-малък от 1 бит, ноколичествотона полученатаинформация може да бъде по-малко от 1 бит. Това се случва, когато опциите за отговор „да“ и „не“не са еднакво вероятни. Нееднородността от своя страна е следствие от факта, че по този въпрос вече е налице някаква предварителна (априорна) информация, получена например на базата на предишен житейски опит. Следователно във всички аргументи от предходния параграф трябва да се вземе предвид едно много важно предупреждение: те са валидни само за равновероятния случай.
Количеството информация ще означим със символаI, вероятността се обозначава със символа P . Спомнете си, че общата вероятност за пълна група събития е 1.