
En théorie des probabilités et en statistique, la covariance entre deux variables aléatoires est un nombre permettant de quantifier leurs écarts conjoints par rapport à leurs espérances respectives. Elle s’utilise également pour deux séries de données numériques (écarts par rapport aux moyennes). La covariance de deux variables aléatoires indépendantes est nulle, bien que la réciproque ne soit pas toujours vraie.
La covariance est une extension de la notion de variance. La corrélation est une forme normalisée de la covariance (la dimension de la covariance entre deux variables est le produit de leurs dimensions, alors que la corrélation est une grandeur adimensionnelle).
Ce concept se généralise naturellement à plusieurs variables (vecteur aléatoire) par la matrice de covariance (ou matrice de variance-covariance) qui, pour un ensemble de p variables aléatoires réelles X1... Xp est la matrice carrée dont l'élément de la ligne i et de la colonne j est la covariance des variables Xi et Xj. Cette matrice permet de quantifier la variation de chaque variable par rapport à chacune des autres. La forme normalisée de la matrice de covariance est la matrice de corrélation.
À titre d'exemple, la dispersion d'un ensemble de points aléatoires dans un espace à deux dimensions ne peut pas être totalement caractérisée par un seul nombre, ni par les seules variances dans les directions x et y ; une matrice 2 × 2 permet d’appréhender pleinement la nature bidimensionnelle des variations.
La matrice de covariance étant une matrice semi-définie positive, elle peut être diagonalisée et l’étude des valeurs propres et vecteurs propres permet de caractériser la distribution à l’aide d’une base orthogonale : cette approche est l'objet de l'analyse en composantes principales qui peut être considérée comme une sorte de compression de l’information.
La covariance de deux variables aléatoires réelles X et Y ayant chacune une variance (finie), notée Cov(X, Y) ou parfois σXY, est la valeur :
Définition —
où désigne l'espérance mathématique. La variance de X est donc Var(X) = Cov(X, X). Intuitivement, la covariance caractérise les variations simultanées de deux variables aléatoires : elle sera positive lorsque les écarts entre les variables et leurs moyennes ont tendance à être de même signe, négative dans le cas contraire.
Conformément à l'expression de sa définition, la dimension de la covariance est le produit des dimensions des variables. En revanche, la corrélation, qui s’exprime à l’aide de la variance et de la covariance, prend ses valeurs dans [-1, 1] et reste adimensionnelle. Deux variables aléatoires dont la covariance est nulle sont dites non corrélées : leur corrélation est également nulle.
Pour deux variables aléatoires discrètes X et Y prenant respectivement leurs valeurs dans deux ensembles finis et on a pour leur covariance
et pour les variances :
La matrice de covariance d'un vecteur de p variables aléatoires dont chacune possède une variance, est la matrice carrée dont le terme générique est donné par
La matrice de covariance, notée parfois , est définie par:
Définition — où désigne la transposée
En développant les termes :
Une généralisation du théorème de König-Huygens pour la variance implique :
Propriété —
Corollaire — Si X et Y sont indépendantes alors .
La réciproque n'est en général pas vraie.
Il suffit de trouver deux variables X et Y de covariance nulle et qui ne sont pas indépendantes. Soit z une variable discrète qui peut prendre les valeurs 1 ou -1 de manière équiprobable (suivant une loi de Rademacher).
Soit X une variable de Bernoulli de paramètre indépendante de z. Alors X et Y = z X ne sont clairement pas indépendantes. Cependant
Propriétés —
Bilinéarité de la covariance :
Propriété —
Corollaire —
Propriété —
En partant d’un échantillon de réalisations indépendantes d’un vecteur aléatoire, un estimateur non-biaisé de la matrice de covariance est donné par
L’estimateur de la covariance de deux variables X et Y n’est qu’un cas particulier :
Lorsque X suit une loi normale multidimensionnelle, l'estimateur du maximum de vraisemblance vaut en revanche :
Dans le cas où les données sont générées par une loi normale multidimensionnelle, l'estimateur du maximum de vraisemblance suit une loi de Wishart.
Le test de sphéricité de Bartlett permet de juger si les coefficients extra-diagonaux de la matrice sont globalement non nuls.
Pour les processus stochastiques qui traitent de l’évolution d’une variable aléatoire, la covariance fait place aux concepts d’autocovariance et d’autocorrélation, puis d’estimation de la densité spectrale pour les processus stationnaires.
La matrice de covariance est un outil essentiel pour l'analyse multivariée :
La connaissance des covariances est le plus souvent indispensable dans les fonctions d'estimation, de filtrage et de lissage. En photographie, elles permettent d'arriver à corriger de façon spectaculaire les flous de mise au point ainsi que les flous de mouvement, ce qui est extrêmement important pour les clichés astronomiques. On les utilise également en automatique. En sociolinguistique, la covariance désigne la correspondance entre l’appartenance à une certaine classe sociale et un certain parler inhérent à cette condition sociale. Les matrices de covariances sont utilisées pour le krigeage et les méthodes d'analyse par décomposition orthogonale aux valeurs propres. Enfin, on l'utilise encore en finance, pour juger si deux placements ont tendance à évoluer dans le même sens, dans des sens opposés, ou si leurs valeurs ne sont pas liées.