Modèle linéaire généralisé

Modèle linéaire généralisé
Type
Type de modèle statistique (d), modèle linéaire (en)Voir et modifier les données sur Wikidata
Sigle
GLM
Inventeurs
John Nelder, Robert Wedderburn (en)Voir et modifier les données sur Wikidata

En statistiques, le modèle linéaire généralisé (MLG ou GLM pour generalized linear model en anglais), est une généralisation souple de la régression linéaire. Le GLM généralise la régression linéaire en permettant au modèle linéaire d'être relié à la variable réponse via une fonction lien et en autorisant l'amplitude de la variance de chaque mesure d'être une fonction de sa valeur prévue, en fonction de la loi choisie.

Historique

La théorie des modèles linéaires généralisés a été formulée par John Nelder et Robert Wedderburn (en) comme un moyen d'unifier les autres modèles statistiques y compris la régression linéaire, la régression logistique et la régression de Poisson. Ils proposent une méthode itérative dénommée méthode des moindres carrés repondérés itérativement (en) pour l'estimation du maximum de vraisemblance des paramètres du modèle. L'estimation du maximum de vraisemblance reste populaire et est la méthode par défaut dans de nombreux logiciels de calculs statistiques. D'autres approches incluant les statistiques bayésiennes et la méthode des moindres carrés convenant aux réponses à variance stabilisées, ont été développées.

Présentation formelle

Le modèle

Soit

E⁡(Y|𝐗)=𝝁=g−1(𝐗𝜷)

où E⁡(Y|𝐗) est l'espérance mathématique de Y conditionnelle à 𝐗; 𝐗𝜷 est le prédicteur linéaire, c'est-à-dire une combinaison linéaire des variables explicatives, et où g est une fonction monotone appelée fonction de lien.

De plus

Var⁡(Y|𝐗)=V⁡(𝝁)=V⁡(g−1(𝐗𝜷)).

où V est appelée fonction variance, qui dépend la loi Y (au sein de la famille exponentielle)

La fonction de lien

La fonction de lien est la fonction qui permet de passer du prédicteur linéaire 𝐗𝜷 à la moyenne de la distribution 𝝁. L'objectif est de passer d'une distribution non normale, non distribuée sur (−∞,+∞), à une fonction qui l'est et qui peut donc être analysé comme tout modèle linéaire. Pour les distributions les plus courantes, les fonctions canoniques sont résumées dans le tableau suivant :

Distribution Domaine Usages Nom de la fonction Fonction de lien, 𝐗𝜷=g(μ) Fonction de la moyenne μ
Normale Réel : (−∞,+∞) Identité 𝐗𝜷=μ μ=𝐗𝜷
Laplace
Exponentielle Réel : (0,+∞) Inverse négative 𝐗𝜷=−μ−1 μ=−(𝐗𝜷)−1
Gamma
Inverse-gaussienne Réel : (0,+∞) Inverse carré 𝐗𝜷=μ−2 μ=(𝐗𝜷)−1/2
Poisson Entiers : 0,1,2,… Log 𝐗𝜷=ln⁡(μ) μ=exp⁡(𝐗𝜷)
Bernoulli Entiers : {0,1} Logit 𝐗𝜷=ln⁡(μ1−μ) μ=exp⁡(𝐗𝜷)1+exp⁡(𝐗𝜷)=11+exp⁡(−𝐗𝜷)
Binomiale Entiers : 0,1,…,N 𝐗𝜷=ln⁡(μn−μ)
Multinomiale K-vecteur d'entiers : [0,N] 𝐗𝜷=ln⁡(μ1−μ)

Articles connexes