Чем отличается формула Хартли от формулы Шеннона?

Для вероятностного подхода к определению количества информации формула Хартли может быть использована в следующем виде: I = log2N=log2 (1/P) или 1/P = 2N Но, для определения количества информации не всегда возможно использовать формулу Хартли. Например, при алфавитном подходе к кодированию информации, все символы, записанные с помощью этого алфавита, могут встречаться одинаково часто. Но, в действительности символы алфавитов естественных языков в сообщениях появляются с разной частотой.

Если вероятности сообщений в наборе p1, ... pN равны между собой, то каждая из них равна 1/N, и формула Шеннона превращается в формулу Хартли.