Для
вероятностного подхода к определению количества
информации формула Хартли может быть использована в следующем виде:I = log2N=log2(1/P) или 1/P = 2N
Но,
для определения количества информации не всегда возможно использовать формулу
Хартли.
Например,
при алфавитном подходе к кодированию информации, все символы, записанные с
помощью этого алфавита, могут встречаться одинаково часто. Но, в действительности
символы алфавитов естественных языков в сообщениях появляются с разной
частотой.