Мера информации по ШеннонуÄ
Обычно нам приходится работать в условиях неполных знаний об интересующей нас информационной системе. Поступающая к нам информация носит чаще всего статистический характер. Мы можем, скажем, лишь отчасти знать, какой процент населения поддерживает нашего президента или какую часть новорожденных составляют мальчики. Абсолютно точно этого узнать нельзя из-за ошибок в подсчете и постоянного изменения данных (информационного шума).
Допустим, что до получения информационного сообщения пользователь информационной системой имел предварительные (априорные) сведения о системе – a. Его неосведомленность о системе определяется энтропией H(a). С получением сообщения b неопределенность сведений о системе становится равной Hb(a). Тогда количество информации в сообщении будет равно
Ib(a) = H(a) - Hb(a).
Следовательно, количество информации определяется уменьшением неопределенности состояния системы. Если конечная неопределенность Hb(a) становится равной 0, то неполное знание о системе H(a) будет заменено полным знанием, что означает Ib(a) = H(a).
Пусть некоторая информационная система имеет N возможных состояний. Один из крупных специалистов в информатике Шеннон показал, что энтропия системы, как мера недостающей информации о ней, определяется выражением:
где Pi – вероятность нахождения системы в i-ом состоянии. Если все состояния системы равновероятны, то имеем:
Заметим, что N = mn, где m – основание системы исчисления, n – число разрядов (символов) в сообщении. Коэффициентом или степенью информативности сообщения называют отношение количества информации I
к объему данных в сообщении, т. е. величина
Эта величина лежит в интервале 0<Y<1 и является мерой лаконичности сообщения. Чем она выше, тем меньше объем работ по преобразованию информации.
