Was ist Entropie in der Informationstheorie?
Die Shannon-Entropie, benannt nach Claude Shannon, ist ein fundamentales Konzept der Informationstheorie. Sie misst die durchschnittliche Menge an Information, die in einer Nachricht enthalten ist, oder anders ausgedrückt: die Ungewissheit über das nächste Symbol.
Die Entropie-Formel
Die Entropie H wird berechnet als: H = -Σ p(x) × log₂(p(x)), wobei p(x) die Wahrscheinlichkeit jedes möglichen Ereignisses ist. Das Ergebnis wird in Bits gemessen. Ein Münzwurf mit 50/50 Wahrscheinlichkeit hat eine Entropie von genau 1 Bit.
Anwendungen der Entropie
Entropie findet Anwendung in der Datenkompression (ZIP, JPEG), der Kryptographie zur Messung von Zufälligkeit, der Passwort-Stärke-Analyse, im maschinellen Lernen (Entscheidungsbäume) und bei der Analyse von Texten und Sprachen.