Collasso del modello

Nell'intelligenza artificiale, il collasso dei modelli, noto anche come consanguineità dell'IA cannibalismo dell'IA, IA asburgica, disturbo autofagico del modello o MAD, è il degrado di modelli di apprendimento automatico dovuto a dati sintetici non curati, dall'addestramento sugli output di un altro modello o da versioni precedenti del modello stesso. È stato talvolta definito la versione IA della malattia della mucca pazza, causata dall'alimentare un sistema con i suoi stessi prodotti. Non è chiaro in che misura il collasso del modello minacci lo sviluppo a lungo termine del modello IA, e sono state proposte tecniche per mitigare questo effetto.

Caratteristiche

Shumailov et al. coniarono il termine per descrivere due fasi specifiche del degrado dei modelli di machine learning, ovvero il collasso precoce e tardivo:

Meccanismo

L'uso di dati sintetici per l'addestramento può portare a problemi di qualità e affidabilità del modello addestrato per tre ragioni principali:

È importante sottolineare che ciò accade anche nei modelli più semplici, dove non sono presenti tutte le fonti di errore, mentre nei modelli più complessi gli errori spesso si accumulano, portando a un collasso più rapido.

Disaccordo sull'impatto nel mondo reale

Il collasso del modello nei modelli generativi si riduce quando i dati si accumulano

Alcuni ricercatori e commentatori avvertono che il fenomeno potrebbe minacciare lo sviluppo futuro dell'IA generativa poiché, man mano che i dati generati vengono condivisi su Internet, questi finiranno nei futuri dataset di addestramento. Se l'addestramento con lo slop (grandi quantità di dati sintetici non etichettati) innescasse il collasso del modello, questo rappresenterebbe un problema difficile.

Altri ricercatori contestano questa tesi, dimostrando che se i dati sintetici si accumulano insieme a quelli generati dall'uomo, il collasso viene evitato. I ricercatori sostengono infatti che l'accumulo di dati nel tempo sia una rappresentazione più fedele della realtà rispetto alla cancellazione di tutti i dati esistenti ogni anno, e che l'impatto reale del collasso del modello potrebbe non essere così catastrofico come si temeva.

Un ramo alternativo della letteratura indaga l'uso di rivelatori di machine learning e watermarking per identificare i dati generati da modelli e filtrarli.

Impatto sui grandi modelli

Nel contesto dei modelli linguistici di grandi dimensioni (LLM), la ricerca ha rilevato che l'addestramento di un modello sui dati sintetici generati da un modello precedente provoca una diminuzione costante della diversità lessicale, sintattica e semantica degli output attraverso le iterazioni successive, soprattutto nei compiti che richiedono alti livelli di creatività.

In uno studio del 2024, ad esempio, un modello è stato addestrato ricorsivamente sui propri output per nove generazioni, al termine delle quali, dopo aver ricevuto in input un testo sull'architettura delle torri campanarie, ha generato risultati privi di senso che elencavano "le più grandi popolazioni al mondo di lepri dalla coda @-@ nera, lepri dalla coda @-@ bianca, lepri dalla coda @-@ blu, ...".

Impatto su ChatGPT

Intorno ad aprile 2026, i contenuti di ChatGPT hanno iniziato a menzionare frequentemente i goblin, tanto da attirare l'attenzione degli utenti, spingendo OpenAI a pubblicare un post sul proprio blog in cui descriveva un aumento di oltre il 3881% nell'uso del termine a seconda delle impostazioni. Sebbene l'anomalia sia stata parzialmente mitigata attraverso una modifica al prompt di sistema, diversi commentatori terzi hanno descritto l'output come un sintomo del collasso del modello.

Diversità degli output dei modelli

Man mano che i modelli vengono riaddestrati su output campionati in modo sproporzionato dalle regioni centrali ad alta probabilità della distribuzione, parole e costruzioni sintattiche rare sono tra le prime caratteristiche a scomparire. L'analisi statistica dell'addestramento ricorsivo basato sulla predizione del token successivo (next-token prediction) ha mostrato che, quando i modelli linguistici vengono addestrati iterativamente su dati sintetici, le distribuzioni condizionali apprese concentrano la massa di probabilità su un piccolo sottoinsieme di continuazioni altamente prevedibili (un fenomeno definito come "collasso totale").

Riduzione della diversità legata all'allineamento

La riduzione della diversità di output negli LLM può derivare anche dalle procedure di fine-tuning post-addestramento, anziché dal solo addestramento ricorsivo su dati sintetici, dato che l'apprendimento per rinforzo dal feedback umano (RLHF) e i metodi correlati di ottimizzazione delle preferenze umane riducono la diversità di output a livello di testo generato. Un'analisi controllata della pipeline RLHF ha rilevato che, rispetto al fine-tuning supervisionato, l'RLHF migliora la generalizzazione sugli input fuori distribuzione ma riduce in modo significativo la diversità di output, una relazione descritta come un compromesso generalizzazione-diversità. Questo effetto è stato osservato anche a livello concettuale; infatti se si trattano gli output come campioni estratti da una popolazione simulata, i modelli allineati mostrano una diversità concettuale inferiore rispetto alle controparti non allineate, anche se nessun modello studiato ha raggiunto il livello di eterogeneità riscontrabile nelle popolazioni umane. La convergenza verso un insieme ristretto di risposte ad alta ricompensa, indotta dal fine-tuning basato sull'apprendimento per rinforzo, viene talvolta definita come una forma di collasso modale. Tale fenomeno, pur essendo correlato al precedente, a livello causale si verifica senza che siano presenti dati sintetici nel set di addestramento.

Implicazioni più ampie

Alcuni ricercatori mettono in relazione la minore varietà degli output con preoccupazioni sull'omogeneizzazione culturale ed epistemica. Infatti, sebbene alcuni studi sulla collaborazione umano-IA hanno evidenziato che l'assistenza generativa può aumentare la qualità dei contributi individuali, riduce al tempo stesso la varietà complessiva dei lavori prodotti, mentre le analisi sulla generazione di storie su larga scala hanno rilevato che i modelli tendono a ricombinare un repertorio limitato di elementi narrativi. Tali dinamiche sono state associate alla prospettiva di un restringimento della gamma di idee pubblicamente disponibili, talvolta chiamato collasso della conoscenza. A questo proposito, è stato sostenuto che mantenere la diversità attraverso un ecosistema di modelli distinti, piuttosto che affidarsi a un piccolo numero di sistemi simili, possa aiutare a contrastare questa tendenza, anche se solo fino a un certo punto.