Distance statistique

En mathématiques, et plus précisément en théorie des probabilités et en statistique, la notion de distance statistique sert à mesurer l'écart entre deux lois de probabilité. Les distances statistiques sont notamment utilisées en théorie de l'information, en statistique, en apprentissage automatique, et en cryptologie.

Lorsqu'aucune précision n'est donnée, la « distance statistique » entre deux lois fait généralement référence à la distance en variation totale.

Il existe cependant d'autres notions de distance statistique, plus spécialisées, qui ne sont pas nécessairement équivalentes à la distance en variation totale. Comme il ne s'agit bien souvent pas de distances, au sens des espaces métriques, le terme de divergence est parfois utilisé.

Familles de divergences

Soit P et Q des lois de probabilité, définies sur un espace ${\displaystyle \Omega }$, avec P absolument continue par rapport à Q. Pour toute fonction convexe f telle que f(1) = 0, on définit la « f-divergence^,, » de P par rapport à Q par :$${\displaystyle D_{f}(P\parallel Q)=\int _{\Omega }f\left({\frac {\mathrm {d} P}{\mathrm {d} Q}}\right)\,\mathrm {d} Q.}$$Les choix possibles de la fonction f permettent d'obtenir plusieurs constructions classiques^, :

• la distance en variation totale correspond au choix ${\displaystyle f(t)=|t-1|/2}$.
• la divergence de Kullback-Leibler correspond au choix ${\displaystyle f(t)=t\log t}$.
• la distance de Hellinger correspond au choix ${\displaystyle f(t)=2(1-{\sqrt {t}})}$.

Une autre construction est la « α-divergence^, » qui est plus adaptée aux lois discrètes, et est définie pour tout ${\displaystyle \alpha \in \mathbb {R} ^{+}\cup \{\infty \}}$ par $${\displaystyle D_{\alpha }(P\|Q)=\lim _{x\to \alpha }{\frac {1}{x-1}}\log {\Bigg (}\sum _{i=1}^{n}{\frac {p_{i}^{x}}{q_{i}^{x-1}}}{\Bigg )}\,}$$

Ici encore des choix particuliers de ${\displaystyle \alpha }$ permettent d'obtenir des mesures de distance classiques :

• la distance de Bhattacharyya correspond (à un facteur multiplicatif près) au choix ${\displaystyle \alpha =1/2}$^,.
• la divergence de Kullback-Leibler correspond au choix ${\displaystyle \alpha =1}$.

Il existe encore d'autres familles, notamment les β- et γ-divergences et les divergences de Bregman, qui recoupent en partie les deux familles discutées ci-dessus.

Autres constructions

D'autres distances statistiques n'appartiennent pas aux familles discutées ci-dessus, notamment :

• la distance de Kolmogorov-Smirnov ;
• la distance de Wasserstein ;
• la distance de Lévy-Prokhorov ;
• la distance de Mahalanobis ;
• la distance de Łukaszyk-Karmowski;
• la distance d'Itakura-Saito.

Notes et références