Twoing

Nell'apprendimento automatico di alberi di decisione, il criterio del twoing è una misura utilizzata nell'algoritmo CART per selezionare in ogni nodo la migliore partizione degli oggetti contenuti. Il criterio di divisione in $X_{1}, X_{0} \subseteq U$ (partizione con esito del test positivo, risp. negativo), definito in base alla variabile predittiva o feature $f$ , è calcolato come segue

{Twoing}_{f} (X | X_{1}, X_{0}) = \frac{| X_{1} | \cdot | X_{0} |}{4} {(\sum_{classe i} | p_{1}^{i} - p_{0}^{i} |)}^{2}

dove $p_{j}^{i}$ è la frazione di oggetti della i-esima classe nell'insieme $X_{j}, j \in {0, 1}$ . L'algoritmo CART seleziona le feature che massimizzano la regola di partizionamento del twoing sopra indicata.

Le principali differenze tra i due criteri di partizionamento possono essere riassunte come segue:

Il twoing fornisce una suddivisione binaria per ogni nodo, mentre l'entropia può fornire partizioni multiple a seconda delle variabili. Per questo motivo, la complessità in termini di altezza dell'albero prodotto quando si utilizza il twoing nel processo di costruzione dell'albero di decisione è maggiore rispetto all'utilizzo dell'entropia.
Con il twoing si gestiscono sia valori categorici sia numerici, mentre con l'entropia si gestiscono solo valori categorici.

Alcune altre differenze fra l'utilizzo del twoing o dell'entropia come criteri di divisione sono:

che il primo è in grado di gestire i valori anomali, mentre l'entropia è sensibile ai valori anomali
Inoltre, il twoing gestisce i dati mancanti meglio della misura di entropia.

Note

↑ Classification and regression trees, collana The Wadsworth statistics/probability series, Wadsworth & Brooks/Cole, 1984, ISBN 978-0-534-98053-5.
↑ Samuel Aning e Małgorzata Przybyła-Kasperek, Comparative Study of Twoing and Entropy Criterion for Decision Tree Classification of Dispersed Data, in Procedia Computer Science, vol. 207, 2022, pp. 2434–2443, DOI:10.1016/j.procs.2022.09.301.
↑ Sonia Singh, Likwan Tan e Manoj Giri, Comparative Study Id3, Cart And C4.5 Decision Tree Algorithm: A Survey, in International Journal of Advanced Information Science and Technology, DOI:10.15693/IJAIST/2014.V3I7.47-52.

Voci correlate

Portale Informatica

Portale Statistica

[1] Classification and regression trees, collana The Wadsworth statistics/probability series, Wadsworth & Brooks/Cole, 1984, ISBN 978-0-534-98053-5.

[2] Samuel Aning e Małgorzata Przybyła-Kasperek, Comparative Study of Twoing and Entropy Criterion for Decision Tree Classification of Dispersed Data, in Procedia Computer Science, vol. 207, 2022, pp. 2434–2443, DOI:10.1016/j.procs.2022.09.301.

[3] Sonia Singh, Likwan Tan e Manoj Giri, Comparative Study Id3, Cart And C4.5 Decision Tree Algorithm: A Survey, in International Journal of Advanced Information Science and Technology, DOI:10.15693/IJAIST/2014.V3I7.47-52.

V · D · M Apprendimento automatico
Problemi	Teoria dell'apprendimento statistico · Classificazione · Regressione · Classificazione a singola classe · Ranking · Regole di associazione · Apprendimento non supervisionato · Apprendimento semi-supervisionato · Apprendimento supervisionato · Apprendimento debolmente supervisionato · Apprendimento auto-supervisionato · Apprendimento da pochi esempi · Apprendimento gerarchico · Apprendimento per rinforzo · Apprendimento profondo · Apprendimento online · Apprendimento incrementale · Apprendimento trasduttivo · Apprendimento di rappresentazioni · Apprendimento per similarità · Apprendimento per contrasto · Concept drift · Meta-apprendimento · Dati mancanti
Apprendimento non supervisionato	Clustering · Clustering gerarchico · K-means · Algoritmo EM · Clustering spettrale · DBSCAN · Mean shift · Rete generativa avversaria (cGAN · VAE-GAN · cycleGAN)
Apprendimento supervisionato	Albero di decisione · Foresta casuale · Conditional random field CRF · Modello di Markov nascosto · Algoritmo k-nearest neighbors (k-NN) · Ragionamento basato su casi (CBR) · Classificatore bayesiano · Rete neurale artificiale · Regressione lineare · Regressione logistica · Modello grafico · Rete bayesiana · Macchine a vettori di supporto (SVM) · Processo gaussiano · Modello ensemble · Boosting · Bagging · Classifier chain · Cascading · Classificatore ECOC · Stacking · Voting
Apprendimento per rinforzo	Q-learning · SARSA · TD
Riduzione della dimensionalità	Analisi fattoriale · Analisi della correlazione canonica (CCA) · Analisi delle componenti indipendenti (ICA) · Analisi discriminante lineare (LDA) · Analisi delle componenti principali (PCA) · Apprendimento di varietà (manifold learning) · Estrazione di caratteristiche · Immersione localmente lineare (LLE) · Isomap · Scaling multidimensionale (MDS) · Selezione delle caratteristiche · t-distributed stochastic neighbor embedding (t-SNE)
Reti neurali artificiali	Percettrone · Percettrone basato su kernel · Rete neurale a funzioni base radiali (RBF net) · Rete neurale feed-forward · Rete di Hopfield · Percettrone multistrato · Rete neurale ricorrente (LSTM) · Macchina di Boltzmann ristretta · Mappa auto-organizzata · Rete neurale convoluzionale · Rete neurale a ritardo · Rete neurale spiking · Rete neurale grafica · Trasformatore
Software	Keras · Microsoft Cognitive Toolkit · Scikit-learn · TensorFlow · Theano · PyTorch · Weka
Altro	Algoritmo genetico · Particle Swarm Optimization · Caratteristica · Compromesso bias-varianza · Minimizzazione del rischio empirico