Concept drift

Il concept drift (in italiano: deriva concettuale) è un fenomeno tipico dell'apprendimento automatico su flussi di dati (data stream) per il quale la distribuzione statistica sulla quale sono basati i dati e, di conseguenza, anche la relazione tra variabili osservate e variabile-obiettivo da predire, sono soggette a cambiamenti nel tempo in modo non stazionario. Quando non viene opportunamente gestito, il concept drift può portare al degrado progressivo delle prestazioni di modelli predittivi già addestrati su dati non recenti.

Definizione

In un problema di apprendimento supervisionato, si considera usualmente un insieme di variabili osservate (di input) $X$ e una variabile-obiettivo $Y$ . Un concetto può essere identificato con la distribuzione congiunta $P(X,Y)$ o, in alternativa, con la distribuzione condizionata $P(Y\mid X)$ che il modello cerca di apprendere.

Il concept drift si verifica quando, per due istanti temporali successivi $t_{0}$ e $t_{1}$ , si ha:

P_{t_{0}}(X,Y)\neq P_{t_{1}}(X,Y)

oppure, in formulazioni più specifiche:

P_{t_{0}}(Y\mid X)\neq P_{t_{1}}(Y\mid X)

.

Varianti del fenomeno distinguono i cambiamenti nella distribuzione marginale $P(X)$ (spesso chiamati covariate shift) dai cambiamenti veri e propri nella relazione tra $X$ e $Y$ (concept shift). Wang, Schlobach e Klein hanno proposto una definizione basata su intensione, estensione ed etichetta del concetto (classe), introducendo anche le nozioni di stabilità e shift tra istanti temporali.

Origini del termine

Il termine "concept drift" è emerso nella letteratura sull'apprendimento automatico adattivo negli anni '90. Uno dei lavori fondativi sul tema è quello di Widmer e Kubat (1996), che hanno studiato algoritmi capaci di reagire a cambiamenti del concetto-obiettivo in presenza di contesti latenti.

Successivamente, il tema è stato sistematizzato in numerose rassegne e monografie, in particolare in ambito di data stream mining e apprendimento online. Il testo di João Gama Knowledge Discovery from Data Streams (2010) offre una trattazione organica dei problemi legati ai data stream e dedica ampio spazio al concetto di drift e alle strategie di adattamento al fenomeno. La rassegna di Gama, Žliobaitė, Bifet, Pechenizkiy e Bouchachia (2014) è diventata un testo di riferimento standard per il problema dell'adattamento al drift e comprende definizione, tassonomia, algoritmi e metodologie di valutazione.

Tipologie

La letteratura scientifica correlata distingue diverse tipologie di deriva concettuale, in base a velocità, modalità e struttura del cambiamento:

Drift improvviso (abrupt drift): il concetto cambia in modo brusco da uno stato a un altro;
Drift graduale (gradual drift): la transizione tra concetti avviene in modo progressivo, con una fase di sovrapposizione;
Drift ricorrente (recurring drift): concetti già osservati in passato riappaiono dopo un certo intervallo di tempo;
Drift incrementale (incremental drift): il concetto evolve in piccoli passi successivi, spesso in una direzione coerente.

Bayram, Ahmed e Kassler (2022) hanno proposto una tassonomia basata sulle definizioni matematiche dei vari tipi di drift e mostrano come termini diversi siano talvolta usati per indicare lo stesso fenomeno. Hinder, Vaquet e Hammer (2024) hanno offerto definizioni formali precise e una tassonomia focalizzata sul caso non supervisionato. Inoltre, Gama et al. (2014) hanno discusso le differenze tra forme di drift reali, virtuali e indotte da cambiamenti di contesto.

Rilevamento

I metodi di drift detection mirano a individuare, in tempo reale o quasi, il momento in cui si verifica un cambiamento significativo della distribuzione dei dati o delle prestazioni del modello.

Si distinguono due grandi famiglie di metodi:

Metodi basati sulla distribuzione: monitorano statistiche campionarie (media, varianza, distribuzioni multivariate) o test di ipotesi per rilevare cambiamenti in $P(X)$ o $P(X,Y)$ .
Metodi basati sulle prestazioni (performance-aware): osservano il degrado di accuratezza / errore, AUC o altre metriche del modello predittivo utili a inferire la presenza di drift.

Tra i metodi classici si possono citare ADWIN, DDM (Drift Detection Method), EDDM e altre varianti basate su finestre scorrevoli e test statistici su sequenze. Hinder, Vaquet e Hammer (2024) hanno fornito una rassegna dettagliata dei metodi non supervisionati, con esperimenti standardizzati su dataset artificiali parametrici.

Una panoramica complessiva è stata offerta da Lu et al. (2019), che hanno passato in rassegna oltre 130 pubblicazioni e proposto un framework unificato basato su rilevamento, comprensione e adattamento al drift. Un quadro più orientato all'adattamento è stato fornito da Gama et al. (2014), in cui sono state analizzate sistematicamente le strategie di adattamento e le relative metodologie di valutazione.

Adattamento

Una volta rilevato il drift, occorrono strategie di adattamento utili a mantenere o ripristinare il livello delle prestazioni del modello. Le principali linee di intervento sono:

Ri-addestramento: aggiornare il modello su una finestra recente di dati, scartando o pesando meno i dati vecchi.
Apprendimento online: algoritmi che aggiornano i parametri ad ogni nuova istanza (ad es. SGD, percettrone online, Naïve Bayes incrementale).
Ensemble adattivi: combinare più modelli, ciascuno addestrato su diverse finestre temporali o con diversi pesi, e adattare i pesi in base alle prestazioni recenti (ad es. Weighted Majority, Adaptive Random Forest).
Cambiamento di rappresentazione: modificare le feature o la rappresentazione dei dati per catturare meglio il nuovo concetto.

Lu et al. (2019) hanno strutturato queste metodologie in un frameweork che comprende drift detection, drift understanding e drift adaptation, sottolineando che le strategie di adattamento devono essere coerenti con il tipo di drift rilevato e con il meccanismo di rilevamento utilizzato. Gama et al. (2014) hanno classificano le strategie di adattamento in termini di uso di finestre, meccanismi di pesatura, ensemble, e approcci basati su meta-apprendimento.

Dataset e benchmark

Per valutare algoritmi in presenza di concept drift, sono stati proposti sia dataset sintetici sia benchmark basati su problemi reali:

Dataset sintetici: permettono di controllare tipo, velocità e movimento del drift (ad es. rotazione dei confini di decisione, cambiamento di parametri di distribuzioni gaussiane).
Dataset reali: flussi di dati provenienti da sensori, transazioni finanziarie, log del traffico di rete, social media, ecc., in cui il drift è implicito e non supervisionato.

Lu et al. hanno fornito un elenco di 10 dataset sintetici comuni e 14 dataset pubblici usati come benchmark per metodi correlati al problema. Inoltre, Gama (2010) ha descritto casi di studio reali su traffico TCP/IP, dati GPS, reti di sensori e click-stream, evidenziando come il concept drift sia pervasivo in tali scenari.

Domini applicativi

Il concept drift è un fenomeno di rilievo in tutti i domini in cui i dati sono generati in modo continuo e il contesto non è stazionario:

Rilevamento di anomalie e monitoraggio industriale: cambiamenti nei segnali provenienti da sensori possono indicare guasti o anomalie; il drift deve essere discriminato da veri eventi critici.
Sicurezza informatica: pattern di attacco e traffico di rete evolvono nel tempo; i modelli di intrusion detection devono adattarsi per evitare l'obsolescenza.
Finanza e trading algoritmico: relazioni tra variabili di mercato cambiano con l'evoluzione delle condizioni macroeconomiche e delle regolamentazioni.
Sanità digitale: modelli predittivi per dati clinici devono adattarsi a cambiamenti nelle pratiche mediche, nella popolazione dei pazienti o nei protocolli.

Note

1 2 3 4 5 6 7 J. Lu, A. Liu, F. Dong, F. Gu, J. Gama, G. Zhang, “Learning under Concept Drift: A Review”, IEEE Transactions on Knowledge and Data Engineering, vol. 31, n. 12, pp. 2346–2363, 2019. DOI: 10.1109/TKDE.2018.2876857.
1 2 3 4 5 F. Hinder, V. Vaquet, B. Hammer, “One or two things we know about concept drift – a survey on monitoring in evolving environments. Part A: detecting concept drift”, Frontiers in Artificial Intelligence, vol. 7, 1330257, 2024. DOI: 10.3389/frai.2024.1330257.
1 2 3 4 5 F. Bayram, B. S. Ahmed, A. Kassler, “From Concept Drift to Model Degradation: An Overview on Performance-Aware Drift Detectors”, arXiv, 2022. DOI: 10.48550/arXiv.2203.11070.
1 2 3 S. Wang, S. Schlobach, M. Klein, “What Is Concept Drift and How to Measure It?”, in: P. Cimiano, H. S. Pinto (a cura di), Knowledge Engineering and Management by the Masses, EKAW 2010, Lecture Notes in Computer Science, vol. 6317, Springer, 2010. DOI: 10.1007/978-3-642-16438-5_17.
↑ G. Widmer, M. Kubat, “Learning in the Presence of Concept Drift and Hidden Contexts”, Machine Learning, vol. 23, pp. 69–101, 1996. DOI: 10.1023/A:1018046501280.
1 2 3 4 J. Gama, Knowledge Discovery from Data Streams, Chapman & Hall/CRC, 2010. DOI: 10.1201/EBK1439826119.
1 2 3 4 5 J. Gama, I. Žliobaitė, A. Bifet, M. Pechenizkiy, A. Bouchachia, “A Survey on Concept Drift Adaptation”, ACM Computing Surveys, vol. 46, n. 4, art. 44, 2014. DOI: 10.1145/2523813.

Voci correlate

Portale Informatica

Portale Statistica

[Lu2019-1] 1 2 3 4 5 6 7 J. Lu, A. Liu, F. Dong, F. Gu, J. Gama, G. Zhang, “Learning under Concept Drift: A Review”, IEEE Transactions on Knowledge and Data Engineering, vol. 31, n. 12, pp. 2346–2363, 2019. DOI: 10.1109/TKDE.2018.2876857.

[Hinder2024-2] 1 2 3 4 5 F. Hinder, V. Vaquet, B. Hammer, “One or two things we know about concept drift – a survey on monitoring in evolving environments. Part A: detecting concept drift”, Frontiers in Artificial Intelligence, vol. 7, 1330257, 2024. DOI: 10.3389/frai.2024.1330257.

[Bayram2022-3] 1 2 3 4 5 F. Bayram, B. S. Ahmed, A. Kassler, “From Concept Drift to Model Degradation: An Overview on Performance-Aware Drift Detectors”, arXiv, 2022. DOI: 10.48550/arXiv.2203.11070.

[Wang2010-4] 1 2 3 S. Wang, S. Schlobach, M. Klein, “What Is Concept Drift and How to Measure It?”, in: P. Cimiano, H. S. Pinto (a cura di), Knowledge Engineering and Management by the Masses, EKAW 2010, Lecture Notes in Computer Science, vol. 6317, Springer, 2010. DOI: 10.1007/978-3-642-16438-5_17.

[Widmer1996-5] G. Widmer, M. Kubat, “Learning in the Presence of Concept Drift and Hidden Contexts”, Machine Learning, vol. 23, pp. 69–101, 1996. DOI: 10.1023/A:1018046501280.

[Gama2010-6] 1 2 3 4 J. Gama, Knowledge Discovery from Data Streams, Chapman & Hall/CRC, 2010. DOI: 10.1201/EBK1439826119.

[Gama2014-7] 1 2 3 4 5 J. Gama, I. Žliobaitė, A. Bifet, M. Pechenizkiy, A. Bouchachia, “A Survey on Concept Drift Adaptation”, ACM Computing Surveys, vol. 46, n. 4, art. 44, 2014. DOI: 10.1145/2523813.

V · D · M Apprendimento automatico
Problemi	Teoria dell'apprendimento statistico · Classificazione · Regressione · Classificazione a singola classe · Ranking · Regole di associazione · Apprendimento non supervisionato · Apprendimento semi-supervisionato · Apprendimento supervisionato · Apprendimento debolmente supervisionato · Apprendimento auto-supervisionato · Apprendimento da pochi esempi · Apprendimento gerarchico · Apprendimento per rinforzo · Apprendimento profondo · Apprendimento online · Apprendimento incrementale · Apprendimento trasduttivo · Apprendimento di rappresentazioni · Apprendimento per similarità · Apprendimento per contrasto · Concept drift · Meta-apprendimento · Dati mancanti
Apprendimento non supervisionato	Clustering · Clustering gerarchico · K-means · Algoritmo EM · Clustering spettrale · DBSCAN · Mean shift · Rete generativa avversaria (cGAN · VAE-GAN · cycleGAN)
Apprendimento supervisionato	Albero di decisione · Foresta casuale · Conditional random field CRF · Modello di Markov nascosto · Algoritmo k-nearest neighbors (k-NN) · Ragionamento basato su casi (CBR) · Classificatore bayesiano · Rete neurale artificiale · Regressione lineare · Regressione logistica · Modello grafico · Rete bayesiana · Macchine a vettori di supporto (SVM) · Processo gaussiano · Modello ensemble · Boosting · Bagging · Classifier chain · Cascading · Classificatore ECOC · Stacking · Voting
Apprendimento per rinforzo	Q-learning · SARSA · TD
Riduzione della dimensionalità	Analisi fattoriale · Analisi della correlazione canonica (CCA) · Analisi delle componenti indipendenti (ICA) · Analisi discriminante lineare (LDA) · Analisi delle componenti principali (PCA) · Apprendimento di varietà (manifold learning) · Estrazione di caratteristiche · Immersione localmente lineare (LLE) · Isomap · Scaling multidimensionale (MDS) · Selezione delle caratteristiche · t-distributed stochastic neighbor embedding (t-SNE)
Reti neurali artificiali	Percettrone · Percettrone basato su kernel · Rete neurale a funzioni base radiali (RBF net) · Rete neurale feed-forward · Rete di Hopfield · Percettrone multistrato · Rete neurale ricorrente (LSTM) · Macchina di Boltzmann ristretta · Mappa auto-organizzata · Rete neurale convoluzionale · Rete neurale a ritardo · Rete neurale spiking · Rete neurale grafica · Trasformatore
Software	Keras · Microsoft Cognitive Toolkit · Scikit-learn · TensorFlow · Theano · PyTorch · Weka
Altro	Algoritmo genetico · Particle Swarm Optimization · Caratteristica · Compromesso bias-varianza · Minimizzazione del rischio empirico