Twoing

Nell'apprendimento automatico di alberi di decisione, il criterio del twoing è una misura utilizzata nell'algoritmo CART per selezionare in ogni nodo la migliore partizione degli oggetti contenuti. Il criterio di divisione in ${\displaystyle X_{1},X_{0}\subseteq U}$ (partizione con esito del test positivo, risp. negativo), definito in base alla variabile predittiva o feature ${\displaystyle f}$, è calcolato come segue

${\displaystyle {\textrm {Twoing}}_{f}(X|X_{1},X_{0})={\frac {|X_{1}|\cdot |X_{0}|}{4}}\left(\sum _{{\text{classe}}\ i}|p_{1}^{i}-p_{0}^{i}|\right)^{2}}$

dove ${\displaystyle p_{j}^{i}}$ è la frazione di oggetti della i-esima classe nell'insieme ${\displaystyle X_{j},\ j\in \{0,1\}}$. L'algoritmo CART seleziona le feature che massimizzano la regola di partizionamento del twoing sopra indicata.

Le principali differenze tra i due criteri di partizionamento possono essere riassunte come segue:

• Il twoing fornisce una suddivisione binaria per ogni nodo, mentre l'entropia può fornire partizioni multiple a seconda delle variabili. Per questo motivo, la complessità in termini di altezza dell'albero prodotto quando si utilizza il twoing nel processo di costruzione dell'albero di decisione è maggiore rispetto all'utilizzo dell'entropia.
• Con il twoing si gestiscono sia valori categorici sia numerici, mentre con l'entropia si gestiscono solo valori categorici.

Alcune altre differenze fra l'utilizzo del twoing o dell'entropia come criteri di divisione sono:

• che il primo è in grado di gestire i valori anomali, mentre l'entropia è sensibile ai valori anomali
• Inoltre, il twoing gestisce i dati mancanti meglio della misura di entropia.

Note

Voci correlate

• Albero di decisione
• CART
• Entropia

V · D · M Apprendimento automatico
Problemi	Teoria dell'apprendimento statistico · Classificazione · Regressione · Classificazione a singola classe · Ranking · Regole di associazione · Apprendimento non supervisionato · Apprendimento semi-supervisionato · Apprendimento supervisionato · Apprendimento debolmente supervisionato · Apprendimento auto-supervisionato · Apprendimento da pochi esempi · Apprendimento gerarchico · Apprendimento per rinforzo · Apprendimento profondo · Apprendimento online · Apprendimento incrementale · Apprendimento trasduttivo · Apprendimento di rappresentazioni · Apprendimento per similarità · Apprendimento per contrasto · Concept drift · Meta-apprendimento · Dati mancanti
Apprendimento non supervisionato	Clustering · Clustering gerarchico · K-means · Algoritmo EM · Clustering spettrale · DBSCAN · Mean shift · Rete generativa avversaria (cGAN · VAE-GAN · cycleGAN)
Apprendimento supervisionato	Albero di decisione · Foresta casuale · Conditional random field CRF · Modello di Markov nascosto · Algoritmo k-nearest neighbors (k-NN) · Ragionamento basato su casi (CBR) · Classificatore bayesiano · Rete neurale artificiale · Regressione lineare · Regressione logistica · Modello grafico · Rete bayesiana · Macchine a vettori di supporto (SVM) · Processo gaussiano · Modello ensemble · Boosting · Bagging · Classifier chain · Cascading · Classificatore ECOC · Stacking · Voting
Apprendimento per rinforzo	Q-learning · SARSA · TD
Riduzione della dimensionalità	Analisi fattoriale · Analisi della correlazione canonica (CCA) · Analisi delle componenti indipendenti (ICA) · Analisi discriminante lineare (LDA) · Analisi delle componenti principali (PCA) · Apprendimento di varietà (manifold learning) · Estrazione di caratteristiche · Immersione localmente lineare (LLE) · Isomap · Scaling multidimensionale (MDS) · Selezione delle caratteristiche · t-distributed stochastic neighbor embedding (t-SNE)
Reti neurali artificiali	Percettrone · Percettrone basato su kernel · Rete neurale a funzioni base radiali (RBF net) · Rete neurale feed-forward · Rete di Hopfield · Percettrone multistrato · Rete neurale ricorrente (LSTM) · Macchina di Boltzmann ristretta · Mappa auto-organizzata · Rete neurale convoluzionale · Rete neurale a ritardo · Rete neurale spiking · Rete neurale grafica · Trasformatore
Software	Keras · Microsoft Cognitive Toolkit · Scikit-learn · TensorFlow · Theano · PyTorch · Weka
Altro	Algoritmo genetico · Particle Swarm Optimization · Caratteristica · Compromesso bias-varianza · Minimizzazione del rischio empirico

Portale Informatica

Portale Statistica