Distance de Hellinger

En théorie des probabilités, la distance de Hellinger entre deux mesures de probabilités ${\displaystyle P}$ et ${\displaystyle Q}$ absolument continues par rapport à une troisième mesure ${\displaystyle \lambda }$, sert à quantifier les similarités entre les deux distributions. Par définition, le carré de la distance de Hellinger entre ${\displaystyle P}$ et ${\displaystyle Q}$ est donné par :

$${\displaystyle H^{2}(P,Q)={\frac {1}{2}}\int \left({\sqrt {\frac {dP}{d\lambda }}}-{\sqrt {\frac {dQ}{d\lambda }}}\right)^{2}d\lambda .}$$

où ${\displaystyle {\frac {dP}{d\lambda }}}$ et ${\displaystyle {\frac {dQ}{d\lambda }}}$ désignent respectivement les dérivées de Radon-Nykodym de ${\displaystyle P}$ et ${\displaystyle Q}$. Cette définition ne dépend pas de ${\displaystyle \lambda }$, si bien que la distance de Hellinger entre ${\displaystyle P}$ et ${\displaystyle Q}$ ne change pas si ${\displaystyle \lambda }$ est remplacée par une autre mesure de probabilité par rapport à laquelle ${\displaystyle P}$ et ${\displaystyle Q}$ soient absolument continues.

Pour alléger l'écriture, la formule précédente est couramment écrite :

$${\displaystyle H^{2}(P,Q)={\frac {1}{2}}\int \left({\sqrt {dP}}-{\sqrt {dQ}}\right)^{2}.}$$

La distance de Hellinger ${\displaystyle H(P,Q)}$ ainsi définie vérifie :

$${\displaystyle 0\leq H(P,Q)\leq 1.}$$

Remarque : Certains auteurs ne font pas figurer le facteur 1/2 précédant l'intégrale dans cette définition.

Propriétés

• La distance de Hellinger est une α-divergence de Amari, correspondant à la valeur α =0.

À ce titre c'est une f-divergence de Csiszár et une divergence de Bregman.

Comme il s'agit de la seule distance (symétrique, auto-duale) de la classe des α-divergences, c'est la distance canonique de l'espace des distributions de la famille exponentielle, le système de coordonnées associé étant ${\displaystyle r_{i}=2{\sqrt {P_{i}}}}$.

Autre conséquence, étant une α-divergence, la courbure locale (son Hessien en P) de la distance de Hellinger est égale à l'information de Fisher de la distribution P :

${\displaystyle I_{uv}=\sum _{i}{\frac {\partial r_{i}}{\partial u}}{\frac {\partial r_{i}}{\partial v}}}$

${\displaystyle I_{uv}=4\sum _{i}{\frac {\partial {\sqrt {P_{i}}}}{\partial u}}{\frac {\partial {\sqrt {P_{i}}}}{\partial v}}}$.

• La distance de Hellinger est liée directement avec la distance de Bhattacharyya :

${\displaystyle D_{B}(P,Q)=-\ln \left(\sum _{i}{\sqrt {P_{i}Q_{i}}}\right)}$

par la relation

${\displaystyle H(P,Q)={\sqrt {1-\exp(-D_{B}(P,Q))}}}$.

Exemples

• La distance de Hellinger entre deux lois normales ${\displaystyle P\sim {\mathcal {N}}(\mu _{1},\sigma _{1}^{2})}$ et ${\displaystyle Q\sim {\mathcal {N}}(\mu _{2},\sigma _{2}^{2})}$ est donnée par

${\displaystyle H(P,Q)={\sqrt {1-{\sqrt {\frac {2\sigma _{1}\sigma _{2}}{\sigma _{1}^{2}+\sigma _{2}^{2}}}}\,\exp \left(-{\frac {1}{4}}{\frac {(\mu _{1}-\mu _{2})^{2}}{\sigma _{1}^{2}+\sigma _{2}^{2}}}\right)}}.}$

• La distance de Hellinger entre deux lois exponentielles ${\displaystyle P~\sim {\rm {{Exp}(\alpha )}}}$ et ${\displaystyle Q~\sim {\rm {{Exp}(\beta )}}}$ est donnée par :

${\displaystyle H(P,Q)={\sqrt {1-{\frac {2{\sqrt {\alpha \beta }}}{\alpha +\beta }}}}.}$

• La distance de Hellinger entre deux lois de Poisson ${\displaystyle P\sim {\mathcal {P}}(\alpha )}$ et ${\displaystyle Q\sim {\mathcal {P}}(\beta )}$ est :

${\displaystyle H(P,Q)={\sqrt {1-\exp \left(-{\frac {1}{2}}({\sqrt {\alpha }}-{\sqrt {\beta }})^{2}\right)}}.}$

• La distance de Hellinger entre deux lois bêta ${\displaystyle P\sim {\text{Beta}}(a_{1},b_{1})}$ et ${\displaystyle Q\sim {\text{Beta}}(a_{2},b_{2})}$ vaut :

${\displaystyle H(P,Q)={\sqrt {1-{\frac {\mathrm {B} \left({\frac {a_{1}+a_{2}}{2}},{\frac {b_{1}+b_{2}}{2}}\right)}{\sqrt {\mathrm {B} (a_{1},b_{1})B(a_{2},b_{2})}}}}}}$

avec ${\displaystyle \mathrm {B} }$ désignant la fonction bêta.

Bibliographie

• (en) Yang, Grace Lo; Le Cam, Lucien M., Asymptotics in Statistics : Some Basic Concepts, Berlin, Springer, 2000, 2^e éd., 285 p. (ISBN 978-0-387-95036-5, LCCN 00030759, lire en ligne)
• (en) Vaart, A. W. van der, Asymptotic Statistics (Cambridge Series in Statistical and Probabilistic Mathematics), Cambridge, UK, Cambridge University Press, 2006, 1^re éd., 443 p., poche (ISBN 978-0-521-78450-4, LCCN 98015176, lire en ligne)
• (en) Pollard, David E., A user's guide to measure theoretic probability, Cambridge, UK, Cambridge University Press, 2002, 351 p., poche (ISBN 978-0-521-00289-9, LCCN 2001035270, lire en ligne)

Notes et références

• (en) Cet article est partiellement ou en totalité issu de l’article de Wikipédia en anglais intitulé « Hellinger distance » (voir la liste des auteurs).