Entropia Shannona jest jednym z najistotniejszych parametrów teorii informacji. Entropia mierzy niepewność związaną z losową zmienną tj. oczekiwaną ilość informacji w wiadomości (w klasycznej informatyce mierzona jest ona za pomocą bitów).

Pojęcie entropii wprowadził Claude E. Shannon w publikacji pt. „A Mathematical Theory of Communication” (1948). Entropia Shannona pozwala określić minimalną ilość bitów potrzebnych do zakodowania określonej wiadomości (uwzględniając wilkość alfabetu i częstość symboli).

Poniżej znajduje się prostu kalkulator, który pomoże zobrazować to.

Wklej ciąg znaków fla których ma być policzona entropia Shannona.

Entropia Shannona liczona jest ze wzoru: