Apprendimento d'insieme
In statistica e apprendimento automatico, con apprendimento d'insieme (in inglese ensemble learning) si intendono una serie di metodi che usano molteplici modelli o algoritmi per ottenere una migliore prestazione predittiva rispetto a quella ottenuta dagli stessi modelli applicati singolarmente. A differenza dell'insieme della meccanica statistica, che si ritiene infinito, tale insieme di modelli alternativi è concreto e finito.
Tipologie
L'apprendimento d'insieme prevede alcune tecniche classiche:
- Bagging: Questa tecnica mira a creare un insieme di modelli aventi la stessa importanza. All'atto della predizione, ciascun modello voterà circa l'esito finale e l'output complessivo sarà il valore medio o la moda (in base al tipo di problema).
- varianti: Random Forest, Pasting, Random Subspace, Random Patch.
- Boosting: A differenza del bagging, ciascun modello influisce sulla votazione finale con un certo peso. Tale peso sarà calcolato in base all'accuratezza di ciascun modello misurata in fase di addestramento.
- Stacking: Mentre nel bagging l'output era il risultato di una votazione, nello stacking viene introdotto un ulteriore classificatore (detto meta-classificatore) che utilizza le predizioni di altri sotto-modelli per apprendere l'ulteriore meta-modello (su dati separati).
Altre tecniche sono le seguenti:
- Voting : combina modelli di apprendimento concettualmente diversi e utilizza il voto a maggioranza o la media delle probabilità delle predizioni dei singoli modelli (moda) per predire l'output.
- Arcing (da adaptively resample and combine): variante del bagging con votazione degli esempi pesata in base a errori commessi su di essi.
- Cascading: modelli di complessità crescente collegati in cascata.
- Classificatori ECOC (error correcting output codes): modelli binari di classificazione specializzati in regioni diverse per la predizione di codici binari, messi in corrispondenza con le diverse classi. Ogni classe è rappresentata tramite un codice binario (possibilmente univoco). la matrice che memorizza la posizione/il codice per ciascuna classe costituisce un cifrario progettato per ottimizzare l'accuratezza della classificazione. In fase di addestramento si impara un classificatore per ogni bit del codice. In fase di predizione, i classificatori proiettano i nuovi esempi nello spazio delle classi e si sceglie, infine, quella più vicina (distanza di Hamming).
- Modelli di inferenza bayesiana: Bayesian model averaging (BMA), Bayesian model Combination (BMC) basati sulle probabilità a posteriori ottenuta considerando tutti i modelli possibili, al variare dei parametri.
Note
- 1 2 (EN) Ethem Alpaydin, Ch.18 - Combining Multiple Learners, in Introduction to machine learning, collana Adaptive computation and machine learning series, Fourth edition, The MIT Press, 2020, ISBN 978-0-262-04379-3.
- ↑ Andrea De Mauro, Big data analytics : guida per iniziare a classificare e interpretare dati con il machine learning, Apogeo, 2019, ISBN 9788850334780, OCLC 1065010076.
- ↑ (EN) Cha Zhang, Yunqian Ma (a cura di), Ensemble Machine Learning, in SpringerLink, 2012, DOI:10.1007/978-1-4419-9326-7.
- ↑ (EN) Leo Breiman, Pasting Small Votes for Classification in Large Databases and On-Line, in Machine Learning, vol. 36, n. 1, 1º luglio 1999, pp. 85–103, DOI:10.1023/A:1007563306331.
- ↑ Tin Kam Ho, The random subspace method for constructing decision forests, in IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 20, n. 8, 1998-08, pp. 832–844, DOI:10.1109/34.709601.
- ↑ (EN) Gilles Louppe e Pierre Geurts, Ensembles on Random Patches, in Peter A. Flach, Tijl De Bie, Nello Cristianini (a cura di), Machine Learning and Knowledge Discovery in Databases, Springer, 2012, pp. 346–361, DOI:10.1007/978-3-642-33460-3_28.
- ↑ (EN) 1.11. Ensembles: Gradient boosting, random forests, bagging, voting, stacking, su scikit-learn. URL consultato il 19 agosto 2025.
- ↑ Leo Breiman, Arcing classifier (with discussion and a rejoinder by the author), in The Annals of Statistics, vol. 26, n. 3, 1º giugno 1998, DOI:10.1214/aos/1024691079.
- ↑ (EN) T. G. Dietterich e G. Bakiri, Solving Multiclass Learning Problems via Error-Correcting Output Codes, in Journal of Artificial Intelligence Research, vol. 2, 1994, pp. 263–286, DOI:10.1613/jair.105.
- ↑ (EN) Kevin P. Murphy, Probabilistic machine learning: an introduction, collana Adaptive computation and machine learning, The MIT Press, 2022, §4.6, ISBN 978-0-262-04682-4.
