Perplessità
In teoria dell'informazione, la perplessità è una misura dell'incertezza riguardo al valore di un campione tratto da una distribuzione di probabilità discreta.
È una misura di predicibilità legata all'entropia: maggiore la perplessità, meno probabile che un osservatore riesca a predire un valore estratto dalla distribuzione.
Il termine è stata proposto originariamente nel 1977 in un lavoro di F. Jelinek et al. sul riconoscimento vocale.
Essa è molto usata nell'apprendimento automatico e nella modellizzazione statistica.
Definizioni
La perplessità di una distribuzione discreta è definita come segue:
dove è l'entropia (in bit) della distribuzione e varia su tutti gli eventi, i valori che una variabile aleatoria con distribuzione può assumere.
Si noti che la base del logaritmo non è necessariamente , essendone la perplessità indipendente a patto che entropia ed esponenziale usino una stessa base.
Dato un insieme di dati , con la relativa distribuzione empirica , si possono misurare le qualità predittive di su mediante la seguente definizione della perplessità:
dove denota l'entropia incrociata delle due distribuzioni.
Riferimenti
- Jelinek, F.; Mercer, R. L.; Bahl, L. R.; Baker, J. K. (1977). "Perplexity—a measure of the difficulty of speech recognition tasks". The Journal of the Acoustical Society of America. 62 (S1): S63. bibcode:1977ASAJ...62Q..63J. doi:10.1121/1.2016299. ISSN 0001-4966.
