Distance de Hellinger

En théorie des probabilités, la distance de Hellinger entre deux mesures de probabilités P et Q absolument continues par rapport à une troisième mesure λ, sert à quantifier les similarités entre les deux distributions. Par définition, le carré de la distance de Hellinger entre P et Q est donné par :

H2(P,Q)=12∫(dPdλ−dQdλ)2dλ.

où dPdλ et dQdλ désignent respectivement les dérivées de Radon-Nykodym de P et Q. Cette définition ne dépend pas de λ, si bien que la distance de Hellinger entre P et Q ne change pas si λ est remplacée par une autre mesure de probabilité par rapport à laquelle P et Q soient absolument continues.

Pour alléger l'écriture, la formule précédente est couramment écrite :

H2(P,Q)=12∫(dP−dQ)2.

La distance de Hellinger H(P,Q) ainsi définie vérifie :

0≤H(P,Q)≤1.

Remarque : Certains auteurs ne font pas figurer le facteur 1/2 précédant l'intégrale dans cette définition.

Propriétés

À ce titre c'est une f-divergence de Csiszár et une divergence de Bregman.

Comme il s'agit de la seule distance (symétrique, auto-duale) de la classe des α-divergences, c'est la distance canonique de l'espace des distributions de la famille exponentielle, le système de coordonnées associé étant ri=2Pi.

Autre conséquence, étant une α-divergence, la courbure locale (son Hessien en P) de la distance de Hellinger est égale à l'information de Fisher de la distribution P :

Iuv=∑i∂ri∂u∂ri∂v
Iuv=4∑i∂Pi∂u∂Pi∂v.
DB(P,Q)=−ln⁡(∑iPiQi)

par la relation

H(P,Q)=1−exp⁡(−DB(P,Q)).

Exemples

H(P,Q)=1−2σ1σ2σ12+σ22exp⁡(−14(μ1−μ2)2σ12+σ22).

H(P,Q)=1−2αβα+β.

H(P,Q)=1−exp⁡(−12(α−β)2).
H(P,Q)=1−B(a1+a22,b1+b22)B(a1,b1)B(a2,b2)

avec B désignant la fonction bêta.