Voci correlate
- Apprendimento automatico
- Transfer learning
- Apprendimento online
- Apprendimento auto-supervisionato
- Metacognizione
Il meta-apprendimento (meta-learning) è una forma di apprendimento automatico che comprende algoritmi capaci di adattarsi rapidamente a nuovi problemi di apprendimento sulla base dell'esperienza accumulata su problemi precedentemente affrontati e dei relativi modelli addestrati.
Il meta-apprendimento è simile al transfer learning, ma si distingue perché il suo obiettivo centrale è quello di adattare rapidamente modelli a nuovi problemi a partire dall'esperienza su molti problemi affrontati in precedenza. Esso è anche collegato ad altre forme di apprendimento quali il few-shot learning, l'apprendimento online e l'apprendimento auto-supervisionato.
L'interesse per il meta-apprendimento si è sviluppato nell'ambito della ricerca sull'apprendimento automatico come estensione dei metodi di generalizzazione e trasferimento della conoscenza appresa (modelli) verso problemi diversi e/o più complessi.
Questa forma di apprendimento è diventata particolarmente rilevante con la diffusione delle tecniche di few-shot learning, ossia l'apprendimento da pochi esempi e con la crescita dell'interesse verso sistemi in grado di adattarsi a compiti nuovi senza richiedere un ri-addestramento completo di modelli esistenti.
Un algoritmo di meta-apprendimento viene addestrato sulla base di una distribuzione di probabilità definita sui diversi problemi/compiti anziché su uno singolo. L'obiettivo è apprendere una procedura che consenta di migliorare rapidamente le prestazioni su problemi correlati (ad es. più specifici) non considerati in precedenza.
In questo senso, il meta-apprendimento non mira soltanto a ottenere una buona soluzione, quanto a migliorare lo stesso processo di apprendimento, da cui deriva la denominazione alternativa di learning to learn (imparare ad apprendere).
I principali approcci al meta-apprendimento vengono solitamente distinti in tre categorie.
Gli approcci basati su modello includono architetture che integrano memoria o meccanismi interni che permettano di adattarsi rapidamente con la disponibilità di nuove informazioni. In questa famiglia rientrano anche sistemi che apprendono direttamente a produrre aggiornamenti o parametri specifici per il nuovo compito.
Gli approcci basati su metriche apprendono uno spazio di rappresentazione in cui esempi simili risultano vicini, così da classificare nuovi casi confrontandoli con esempi di riferimento. Questi metodi sono spesso utilizzati per affrontare nuovi problemi di classificazione con poche osservazioni per classe.
Gli approcci basati sull'ottimizzazione cercano di apprendere una buona inizializzazione dei parametri del modello o una strategia di aggiornamento che renda l'adattamento verso nuovi problemi più efficiente. Tra i metodi più noti vi è il Model-Agnostic Meta-Learning (MAML) che ottimizza i parametri iniziali in modo che poche iterazioni successive di discesa di gradiente bastino perché il modello possa raggiungere buone prestazioni sul nuovo problema.
Un altro filone, spesso fatto rientrare negli approcci basati su metriche e ottimizzazione, considera il meta-apprendimento come forma di inferenza su una distribuzione definita sui diversi problemi; si apprende una distribuzione a priori condivisa utile in seguito a generalizzare le soluzioni verso nuovi problemi. Questa prospettiva mette in relazione il meta-apprendimento con il ragionamento probabilistico e l'apprendimento gerarchico.
Il meta-apprendimento è utilizzato in campi in cui i dati etichettati sono limitati, come il riconoscimento di immagini, l'elaborazione del linguaggio naturale e la robotica. In ambito robotico, può favorire l'adattamento a nuove configurazioni o ambienti con un numero ridotto di esempi. In particolare, può essere utile anche nei casi in cui l'acquisizione di dati etichettati risulta costosa, come in medicina o in scenari industriali specializzati.
Tra i principali limiti vi sono l'elevato costo computazionale di alcuni metodi, la sensibilità alla distribuzione dei compiti di addestramento e la difficoltà nel generalizzare verso situazioni molto diverse da quelle osservate in fase di meta-addestramento. La letteratura recente sottolinea inoltre l'esigenza di una teoria unificata sul meta-apprendimento che chiarisca quando e perché esso funzioni meglio di altri paradigmi di generalizzazione.
Un esempio molto noto di metodo di meta-apprendimento è il MAML già citato, che mira a trovare una configurazione iniziale dei parametri da cui sia possibile adattarsi a un nuovo compito con pochi passi di ottimizzazione. Questo rende il meta-apprendimento particolarmente indicato per problemi in cui un ridotto tempo di adattamento è più importante della precisione assoluta raggiungibile solo dopo un lungo addestramento.