Modello logit

In statistica, il modello logit, noto anche come modello logistico o regressione logistica, è un modello di regressione nonlineare utilizzato quando la variabile dipendente è di tipo dicotomico. L'obiettivo del modello è di stabilire la probabilità con cui un'osservazione può generare uno o l'altro valore della variabile dipendente; può inoltre essere utilizzato per classificare le osservazioni, in base alla caratteristiche di queste, in due categorie.

Il modello logit fa parte della classe dei modelli lineari generalizzati, così come il modello probit ed il modello log-lineare, dai quali differisce essenzialmente per la scelta della funzione $Λ$ .

Scelta della funzione

Un modello di regressione dove la variabile dipendente è dicotomica, ossia una variabile che può avere come unici valori 0 e 1 o riconducibili ad essi, calcola la probabilità che questa variabile acquisisca valore 1. Poiché le probabilità per definizione sono limitate ad un intervallo $C = [0, 1]$ , l'utilizzo di un modello di regressione lineare non sarebbe appropriato, infatti esso restituirebbe dei valori appartenenti all'intero insieme $ℝ$ . Si supponga infatti il seguente modello lineare:

Pr (Y = 1 ∣ X = x) = β_{0} + β_{1} X .

La derivata

\frac{\partial}{\partial X} Pr (Y = 1 ∣ X = x) = β_{1}

essendo costante e uguale al parametro $β_{1}$ , non permette alla funzione di cambiare pendenza in base al valore di $X$ e quindi di poter avere come codominio $C$ . Questa caratteristica è invece posseduta, ad esempio, dalle funzioni di ripartizione. L'utilizzo infatti di una funzione non lineare permette di avere una derivata prima dipendente da $X$ e quindi in grado di cambiare al variare di questa variabile. Se si considera infatti il seguente modello:

Pr (Y = 1 ∣ X = x) = F (α_{0} + α_{1} X),

dove la derivata è la seguente

\frac{\partial}{\partial X} Pr (Y = 1 ∣ X = x) = f (α_{0} + α_{1} X) α_{1} .

Si nota come la pendenza della curva ora possa variare al variare di $X$ , potendo quindi possedere un codominio $C$ . Per il modello logit si utilizza come funzione $F$ la funzione di ripartizione della distribuzione logistica standard.

Definizione

Il modello di regressione logit per la popolazione è:

𝔼 [Y ∣ 𝐗] = Pr (Y = 1 ∣ X_{1}, \dots, X_{k}) = Λ (𝐗^{T} 𝜷) = \frac{e^{β_{0} + β_{1} X_{1} + \dots + β_{k} X_{k}}}{1 + e^{β_{0} + β_{1} X_{1} + \dots + β_{k} X_{k}}} = p,

dove:

$Pr$ indica la probabilità;
$Y$ è la variabile dipendente dicotomica con una distribuzione bernoulliana $Y \sim ℬ (p)$ ;
$𝐗$ è il vettore di variabili indipendenti o regressori $X_{1}, \dots, X_{k}$ ;
$𝜷$ è il vettore di parametri $β_{0}, \dots, β_{k}$ ;
$Λ$ è la funzione di ripartizione della distribuzione logistica standard;
$e$ è il numero di Eulero, circa uguale a $2, 71828$ .

Varianza

La varianza della variabile dipendente risulta dipendere dal vettore dei regressori $𝐗$ . Infatti

V a r (Y ∣ 𝐗) = 𝔼 [Y^{2} ∣ 𝐗] - 𝔼 {[Y ∣ 𝐗]}^{2} = Λ (𝐗^{T} 𝜷) \cdot (1 - Λ (𝐗^{T} 𝜷)) .

Effetto marginale

L'effetto marginale sulla variabile dipendente $Y$ dato da un cambiamento in un regressore continuo $X_{j}$ è calcolato come la derivata rispetto a $X_{j}$ del valore atteso $p = 𝔼 [Y ∣ 𝐗]$ :

\frac{\partial p}{\partial X_{j}} = \frac{\partial}{\partial X_{j}} 𝔼 [Y ∣ 𝐗] = \frac{\partial}{\partial X_{j}} Λ (𝐗^{T} 𝜷) = \frac{\partial}{\partial X_{j}} \frac{e^{𝐗^{T} 𝜷}}{1 + e^{𝐗^{T} 𝜷}} = \frac{e^{𝐗^{T} 𝜷}}{1 + e^{𝐗^{T} 𝜷}} \cdot \frac{1}{1 + e^{𝐗^{T} 𝜷}} \cdot β_{j} = p (1 - p) β_{j}

Poiché $p$ è una probabilità e quindi un numero compreso fra 0 e 1, il fattore $p (1 - p)$ , e quindi l'effetto marginale, è massimo per $p = 0, 5$ e va a zero per $p$ che tende a 1 o 0. Quindi in un modello logistico l'effetto marginale tende a zero per probabilità attese molto alte o molto basse.

Illustrazione del metodo

Per ogni osservazione campionaria $i = 1, \dots, n$ si dispone di una determinazione $Y$ e di $k$ determinazioni $X_{1}, \dots, X_{k}$ . Il modello cerca una relazione non lineare, utilizzando la funzione di ripartizione della distribuzione logistica standard, tra la variabile dipendente e $k$ variabili indipendenti, stimando il valore dei coefficienti $β_{0}, \dots, β_{k}$ tramite il metodo della massima verosimiglianza.

Stima del modello

Il vettore di parametri $𝜷$ è di norma stimato con il metodo della massima verosimiglianza, con il quale si ottengono stimatori efficienti, consistenti e distribuiti normalmente nel caso in cui il campione statistico sia abbastanza grande. Queste proprietà permettono di calcolare il test t su un parametro, il test F nel caso di restrizioni multiple e gli intervalli di confidenza. Alla stima dei parametri segue la stima della probabilità $p$ .

Funzione di verosimiglianza

Nel modello logit la variabile dipendente $Y$ è dicotomica e con distribuzione $Y \sim ℬ (p)$ . Si consideri un campione di $n$ osservazioni dove ciascuna di esse è identificata con $i = 1, \dots, n$ . Per la definizione del modello, la probabilità che questa variabile sia 1 per una data osservazione $i$ è

Pr (Y_{i} = 1 ∣ X_{1 i}, \dots, X_{k i}) = Λ (β_{0} + β_{1} X_{1 i} + \dots + β_{k} X_{k i}) = p_{i},

mentre la probabilità che sia 0 è

Pr (Y_{i} = 0 ∣ X_{1 i}, \dots, X_{k i}) = 1 - Λ (β_{0} + β_{1} X_{1 i} + \dots + β_{k} X_{k i}) = 1 - p_{i} .

La distribuzione di probabilità condizionata per ogni elemento $i$ può essere scritta come

Pr (Y_{i} = y_{i} ∣ X_{1 i}, \dots, X_{k i}) = p_{i}^{y_{i}} (1 - p_{i})^{1 - y_{i}} .

Si considera ora l'intero campione e sia assume che $X_{1 i}, X_{2 i}, \dots, X_{k i}, Y_{i}$ siano indipendenti e identicamente distribuite per ogni osservazione $i$ . Risulta quindi che la distribuzione di probabilità congiunta di $(Y_{1}, \dots, Y_{n})$ è il prodotto delle probabilità condizionate di ogni osservazione:

\begin{matrix} Pr (Y_{1} = y_{1}, \dots, Y_{n} = y_{n} ∣ X_{1 i}, \dots, X_{k i}) & = Pr (Y_{1} = y_{1} ∣ X_{11}, \dots, X_{k 1}) \cdot \dots \cdot Pr (Y_{n} = y_{n} ∣ X_{1 n}, \dots, X_{k n}) = \\ = p_{1}^{y_{1}} (1 - p_{1})^{1 - y_{1}} \cdot \dots \cdot p_{n}^{y_{n}} (1 - p_{n})^{1 - y_{n}} = \prod_{i = 1}^{n} p_{i}^{y_{i}} (1 - p_{i})^{1 - y_{i}} . \end{matrix}

Si riprende ora la definizione del modello logit e la si sostituisce al posto di $p_{i}$ , ottenendo quindi la funzione di verosimiglianza

\begin{matrix} ℒ_{logit} (β_{0}, \dots, β_{k}; Y_{1}, \dots, Y_{n} ∣ X_{1 i}, \dots, X_{k i}) = \\ \prod_{i = 1}^{n} {[Λ (β_{0} + β_{1} X_{1 i} + \dots + β_{k} X_{k i})]}^{Y_{i}} {[1 - Λ (β_{0} + β_{1} X_{1 i} + \dots + β_{k} X_{k i})]}^{1 - Y_{i}} . \end{matrix}

Stima dei parametri

Per calcolare gli stimatori ${\hat{β}}_{0}, {\hat{β}}_{1}, \dots, {\hat{β}}_{k}$ dei parametri $β_{0}, β_{1}, \dots, β_{k}$ risulta conveniente calcolare la funzione di log-verosimiglianza poiché in questo modo si riesce a eliminare la produttoria. Si applica quindi il logaritmo alla funzione di verosimiglianza:

\begin{matrix} 𝓁_{logit} (β_{0}, \dots, β_{k}; Y_{1}, \dots, Y_{n} ∣ X_{1 i}, \dots, X_{k i}) = \ln ℒ_{logit} (β_{0}, \dots, β_{k}; Y_{1}, \dots, Y_{n} ∣ X_{1 i}, \dots, X_{k i}) \\ = \sum_{i = 1}^{n} Y_{i} \ln [Λ (β_{0} + β_{1} X_{1 i} + \dots + β_{k} X_{k i})] + \sum_{i = 1}^{n} (1 - Y_{i}) \ln [1 - Λ (β_{0} + β_{1} X_{1 i} + \dots + β_{k} X_{k i})] \end{matrix}

Gli stimatori calcolati con il metodo della massima verosimiglianza massimizzano la funzione precedente risolvendo il seguente problema:

{{\hat{β}}_{0}, {\hat{β}}_{1}, \dots, {\hat{β}}_{k}}_{M V} = \arg max_{β_{0}, \dots, β_{k}} 𝓁_{logit} (β_{0}, \dots, β_{k}; Y_{1}, \dots, Y_{n} ∣ X_{1 i}, \dots, X_{k i}) .

Per semplificare la scrittura consideriamo $𝜷$ un vettore dei parametri $β_{0}, β_{1}, \dots, β_{k}$ , $λ$ la derivata di $Λ$ , ossia la funzione di densità di probabilità della distribuzione logistica, e $n$ il numero di osservazioni nel campione. Le condizioni per la massimizzazione sono due: quella di primo ordine dove la derivata prima rispetto ai parametri deve essere posta uguale a zero per trovare i punti estremanti, la seconda invece pone la derivata seconda, sempre rispetto ai parametri, minore di zero per determinare le concavità della funzione e quindi garantire che quelli trovati siano solo punti di massimo:

$\frac{\partial}{\partial 𝜷} 𝓁_{logit} (𝜷; 𝐲) = 0 ⟺ \sum_{i = 1}^{n} {\frac{y_{i} - Λ ({𝐱_{i}}^{'} 𝜷)}{Λ ({𝐱_{i}}^{'} 𝜷) [1 - Λ ({𝐱_{i}}^{'} 𝜷)]} \cdot λ ({𝐱_{i}}^{'} 𝜷)} = 0;$
$\frac{\partial^{2}}{\partial 𝜷 \partial 𝜷^{'}} 𝓁_{logit} (𝜷; 𝐲) < 0.$

Solitamente le soluzioni di queste condizioni non sono semplici da determinare oppure non possono essere trovate affatto, ma per ovviare a questo problema si possono utilizzare dei programmi statistici per computer che, attraverso alcuni algoritmi, trovano delle loro approssimazioni.

Stima della probabilità

Quando è stato calcolato il vettore $\hat{𝜷}$ , ossia la stima del vettore dei parametri $𝜷$ , è possibile procedere alla stima della probabilità $p$ . Per definizione del modello, questa probabilità è anche il valore atteso di $Y$ .

\hat{p} = \hat{𝔼} [Y ∣ 𝐗] = Λ (𝐗^{T} \hat{𝜷}) = \frac{e^{𝐗^{T} \hat{𝜷}}}{1 + e^{𝐗^{T} \hat{𝜷}}} .

Esempio in python

Utilizzando la regressione logistica nel linguaggio di programmazione python si vuole predire se una persona è malata di cuore oppure no, mediante parametri tra cui la pressione arteriosa e il livello di colesterolo nel sangue ecc. contenuti in un dataset liberamente scaricabile da GitHub. La variabile da predire è target che assume 1 se la persona è malata, 0 altrimenti. Si divide il dataset in un Training Set pari all'80% delle osservazioni su cui si addestra il modello logistico, ed il restante 20% delle osservazioni rappresenta il Testing Set su cui si calcola l'Accuracy per valutare se il modello predice bene la malattia:

import pandas as pd

from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler
from sklearn.linear_model import LogisticRegression
from sklearn.metrics import accuracy_score

# Caricamento del dataset
url = "https://raw.githubusercontent.com/g-shreekant/Heart-Disease-Prediction-using-Machine-Learning/refs/heads/master/heart.csv"
df = pd.read_csv(url)

# Definizione delle feature e della variabile target
X = df.drop(columns=['target'])  # Feature
y = df['target']  # Variabile target (0 = no malattia, 1 = malattia)

# Suddivisione in Training e Testing Set
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42, stratify=y)

# Normalizzazione delle feature
scaler = StandardScaler()
X_train = scaler.fit_transform(X_train)
X_test = scaler.transform(X_test)

# Creazione e addestramento del modello di Regressione Logistica
model = LogisticRegression()
model.fit(X_train, y_train)

# Predizioni sul testing set
y_pred = model.predict(X_test)

# Valutazione del modello
accuracy = accuracy_score(y_test, y_pred)
print(f'Accuracy: {accuracy:.4f}')

Accuracy: 0.8033

Essendo l'accuracy pari all'80,33% il modello logistico predice bene la malattia.

Note

1 2 3 4 5 6 (EN) James H. Stock e Mark W. Watson, Regression with a Binary Dependent Variable, in Introduction to Econometrics, 3ª ed., Pearson, 2015, pp. 442-443, ISBN 978-1-292-07131-2.
1 2 (EN) James H. Stock e Mark W. Watson, Regression with a Binary Dependent Variable, in Introduction to Econometrics, 3ª ed., Pearson, 2015, p. 437, ISBN 978-1-292-07131-2.
↑ Il valore attes
1 2 (EN) James H. Stock e Mark W. Watson, Regression with a Binary Dependent Variable, in Introduction to Econometrics, 3ª ed., Pearson, 2015, pp. 441-442, ISBN 978-1-292-07131-2.
↑ L'intera derivazione della funzione di verosimiglianza è consultabile alle pagine qui riportate. (EN) James H. Stock e Mark W. Watson, Regression with a Binary Dependent Variable, in Introduction to Econometrics, 3ª ed., Pearson, 2015, pp. 465-466, ISBN 978-1-292-07131-2.
1 2 (EN) James H. Stock e Mark W. Watson, Regression with a Binary Dependent Variable, in Introduction to Econometrics, 3ª ed., Pearson, 2015, pp. 465-466, ISBN 978-1-292-07131-2.

Bibliografia

(EN) Alan Agresti, Categorical Data Analysis, Wiley, 2003, ISBN 978-0-471-36093-3.
(EN) William H. Greene, Econometric Analysis, 4ª ed., Prentice Hall, 1999 [1993], ISBN 978-0-130-13297-0.
(EN) James H. Stock e Mark W. Watson, Regression with a Binary Dependent Variable, in Introduction to Econometrics, 3ª ed., Pearson, 2015, ISBN 978-1-292-07131-2.
(EN) P. McCullagh e John A. Nelder, Generalized Linear Models, 2ª ed., Chapman and Hall/CRC, 1989, ISBN 978-0-412-31760-6.