Perplessità

Questa voce è orfana, ovvero priva di collegamenti in entrata da altre voci.

Inseriscine almeno uno pertinente e utile e rimuovi l'avviso. Segui i suggerimenti del progetto di riferimento.

In teoria dell'informazione, la perplessità è una misura dell'incertezza riguardo al valore di un campione tratto da una distribuzione di probabilità discreta.

È una misura di predicibilità legata all'entropia: maggiore la perplessità, meno probabile che un osservatore riesca a predire un valore estratto dalla distribuzione.

Il termine è stata proposto originariamente nel 1977 in un lavoro di F. Jelinek et al. sul riconoscimento vocale.

Essa è molto usata nell'apprendimento automatico e nella modellizzazione statistica.

Definizioni

La perplessità ${\displaystyle PP}$ di una distribuzione discreta ${\displaystyle p}$ è definita come segue:

${\displaystyle \displaystyle {\rm {PP}}(p)\triangleq 2^{\mathbb {H} (p)}=2^{-\sum _{x}p(x)\log _{2}p(x)}=\prod _{x}p(x)^{-p(x)}}$

dove ${\displaystyle \mathbb {H} (p)}$ è l'entropia (in bit) della distribuzione e ${\displaystyle x}$ varia su tutti gli eventi, i valori che una variabile aleatoria ${\displaystyle X}$ con distribuzione ${\displaystyle p}$ può assumere.

Si noti che la base del logaritmo non è necessariamente ${\displaystyle 2}$, essendone la perplessità indipendente a patto che entropia ed esponenziale usino una stessa base.

Dato un insieme di dati ${\displaystyle {\cal {D}}}$, con la relativa distribuzione empirica ${\displaystyle p_{\cal {D}}}$, si possono misurare le qualità predittive di ${\displaystyle p}$ su ${\displaystyle {\cal {D}}}$ mediante la seguente definizione della perplessità:

${\displaystyle \displaystyle {\rm {PP}}(p_{\mathcal {D}},p)\triangleq 2^{\mathbb {H} _{ce}(p)}}$

dove ${\displaystyle \mathbb {H} _{ce}}$ denota l'entropia incrociata delle due distribuzioni.

Riferimenti

• Jelinek, F.; Mercer, R. L.; Bahl, L. R.; Baker, J. K. (1977). "Perplexity—a measure of the difficulty of speech recognition tasks". The Journal of the Acoustical Society of America. 62 (S1): S63. bibcode:1977ASAJ...62Q..63J. doi:10.1121/1.2016299. ISSN 0001-4966.

Collegamenti esterni

Portale Informatica

Portale Matematica