Probit multinomiale

In statistica e apprendimento automatico, il modello probit multinomiale è una generalizzazione del modello probit per problemi con più di due categorie possibili per la variabile dipendente . Quindi esso rappresenta un'alternativa al modello logit multinomiale da utilizzare per problemi di apprendimento supervisionato multi-classe. Non va però confuso con il modello probit multivariato, utilizzato per modellare casi con risultati binari correlati per più variabili indipendenti.

Specifica generale

Si suppone di avere una serie di osservazioni Y_i, per i = 1... n, dei risultati di scelte fra K valori tratte da una distribuzione categorica di dimensione K (ci sono K > 2 scelte possibili). A ciascuna osservazione Y_i è associato un vettore di m valori osservati x_1,i, ..., x_m,i di variabili esplicative (note anche come variabili indipendenti, variabili predittive, caratteristiche, ecc.). Alcuni esempi:

I risultati osservati potrebbero essere "ha la malattia A, ha la malattia B, ha la malattia C, non ha nessuna delle malattie" per un insieme di malattie rare con sintomi simili, e le variabili esplicative potrebbero essere caratteristiche dei pazienti ritenute pertinenti (sesso, razza, età, pressione sanguigna, indice di massa corporea, presenza o assenza di vari sintomi, ecc.).
I risultati osservati sono i voti delle persone per un dato partito o candidato in un'elezione con più di 2 opzioni e le variabili esplicative sono le caratteristiche demografiche di ciascuna persona (ad esempio sesso, razza, età, reddito, ecc.).

Il modello probit multinomiale è un modello statistico utilizzabile per predire il probabile esito non osservato di un esperimento multifattoriale, date le variabili esplicative associate. Nel processo, il modello cerca di spiegare l'effetto relativo di diverse variabili esplicative sui diversi esiti.

Formalmente, i risultati Y_i possono essere descritti come dati distribuiti categoricamente, in cui ogni valore di risultato h per l'osservazione i si verifica con una probabilità non osservata p_i,h specifica per l'osservazione i in questione perché determinata dai valori delle variabili esplicative associate a tale osservazione. Vale a dire:

Y_{i} | x_{1, i}, \dots, x_{m, i} \sim Cat (p_{i, 1}, \dots, p_{i, K}), per i = 1, \dots, n

o equivalentemente

Pr [Y_{i} = h | x_{1, i}, \dots, x_{m, i}] = p_{i, h}, per i = 1, \dots, n,

per ciascuno dei K possibili valori di h.

Modello con variabili latenti

Il probit multinomiale è spesso scritto in termini di modello con variabili latenti:

\begin{matrix} Y_{i}^{1 *} & = 𝜷_{1} \cdot 𝐗_{i} + ε_{1} \\ Y_{i}^{2 *} & = 𝜷_{2} \cdot 𝐗_{i} + ε_{2} \\ \dots & \dots \\ Y_{i}^{K *} & = 𝜷_{K} \cdot 𝐗_{i} + ε_{K} \end{matrix}

dove

𝜺 \sim 𝒩 (0, 𝜮)

allora

Y_{i} = {\begin{matrix} 1 & se Y_{i}^{1 *} > Y_{i}^{2 *}, \dots, Y_{i}^{K *} \\ 2 & se Y_{i}^{2 *} > Y_{i}^{1 *}, Y_{i}^{3 *}, \dots, Y_{i}^{K *} \\ \dots & \dots \\ K & altrimenti \end{matrix}

ossia,

Y_{i} = {a r g m a x}_{h = 1, \dots, K} Y_{i}^{h *}

Si noti che questo modello consente una correlazione arbitraria tra le variabili di errore, quindi non rispetta necessariamente la proprietà di indipendenza delle alternative irrilevanti.

Quando $𝜮$ è la matrice identità (tale che non vi sia correlazione o eteroschedasticità), il modello viene detto probit indipendente.

Stima

Per i dettagli su come vengono stimate le equazioni, si veda la voce Modello Probit.

Note

↑ Adrian Colin Cameron e P. K. Trivedi, 15. Multinomial Models, in Microeconometrics: methods and applications, Cambridge University Press, 2005, ISBN 978-0-521-84805-3.
↑ Luiz Paulo Fávero e Patrícia Belfiore, Chapter 14 - Binary and Multinomial Logistic Regression Models, Academic Press, 2019, pp. 539–615, DOI:10.1016/b978-0-12-811216-8.00014-8, ISBN 978-0-12-811216-8.
↑ (EN) Yosef Sheffi, Randy Hall e Carlos Daganzo, On the estimation of the multinomial probit model, in Transportation Research Part A: General, vol. 16, n. 5-6, 1982-09, pp. 447–456, DOI:10.1016/0191-2607(82)90071-1.

Bibliografia

William H. Greene, Econometric Analysis, Seventh, Pearson Education, 2012, pp. 810–811, ISBN 978-0-273-75356-8.

Portale Informatica

Portale Matematica

Portale Statistica

[1] Adrian Colin Cameron e P. K. Trivedi, 15. Multinomial Models, in Microeconometrics: methods and applications, Cambridge University Press, 2005, ISBN 978-0-521-84805-3.

[2] Luiz Paulo Fávero e Patrícia Belfiore, Chapter 14 - Binary and Multinomial Logistic Regression Models, Academic Press, 2019, pp. 539–615, DOI:10.1016/b978-0-12-811216-8.00014-8, ISBN 978-0-12-811216-8.

[3] (EN) Yosef Sheffi, Randy Hall e Carlos Daganzo, On the estimation of the multinomial probit model, in Transportation Research Part A: General, vol. 16, n. 5-6, 1982-09, pp. 447–456, DOI:10.1016/0191-2607(82)90071-1.

V · D · M Apprendimento automatico
Problemi	Teoria dell'apprendimento statistico · Classificazione · Regressione · Classificazione a singola classe · Ranking · Regole di associazione · Apprendimento non supervisionato · Apprendimento semi-supervisionato · Apprendimento supervisionato · Apprendimento debolmente supervisionato · Apprendimento auto-supervisionato · Apprendimento da pochi esempi · Apprendimento gerarchico · Apprendimento per rinforzo · Apprendimento profondo · Apprendimento online · Apprendimento incrementale · Apprendimento trasduttivo · Apprendimento di rappresentazioni · Apprendimento per similarità · Apprendimento per contrasto · Concept drift · Meta-apprendimento · Dati mancanti
Apprendimento non supervisionato	Clustering · Clustering gerarchico · K-means · Algoritmo EM · Clustering spettrale · DBSCAN · Mean shift · Rete generativa avversaria (cGAN · VAE-GAN · cycleGAN)
Apprendimento supervisionato	Albero di decisione · Foresta casuale · Conditional random field CRF · Modello di Markov nascosto · Algoritmo k-nearest neighbors (k-NN) · Ragionamento basato su casi (CBR) · Classificatore bayesiano · Rete neurale artificiale · Regressione lineare · Regressione logistica · Modello grafico · Rete bayesiana · Macchine a vettori di supporto (SVM) · Processo gaussiano · Modello ensemble · Boosting · Bagging · Classifier chain · Cascading · Classificatore ECOC · Stacking · Voting
Apprendimento per rinforzo	Q-learning · SARSA · TD
Riduzione della dimensionalità	Analisi fattoriale · Analisi della correlazione canonica (CCA) · Analisi delle componenti indipendenti (ICA) · Analisi discriminante lineare (LDA) · Analisi delle componenti principali (PCA) · Apprendimento di varietà (manifold learning) · Estrazione di caratteristiche · Immersione localmente lineare (LLE) · Isomap · Scaling multidimensionale (MDS) · Selezione delle caratteristiche · t-distributed stochastic neighbor embedding (t-SNE)
Reti neurali artificiali	Percettrone · Percettrone basato su kernel · Rete neurale a funzioni base radiali (RBF net) · Rete neurale feed-forward · Rete di Hopfield · Percettrone multistrato · Rete neurale ricorrente (LSTM) · Macchina di Boltzmann ristretta · Mappa auto-organizzata · Rete neurale convoluzionale · Rete neurale a ritardo · Rete neurale spiking · Rete neurale grafica · Trasformatore
Software	Keras · Microsoft Cognitive Toolkit · Scikit-learn · TensorFlow · Theano · PyTorch · Weka
Altro	Algoritmo genetico · Particle Swarm Optimization · Caratteristica · Compromesso bias-varianza · Minimizzazione del rischio empirico