Apprendimento da pochi esempi

Struttura del Dataset: insiemi di supporto e di query

L'addestramento e la valutazione avvengono suddividendo i dati in due insiemi principali:

1. Support set (${\displaystyle {\mathcal {S}}}$): insieme limitato di dati etichettati forniti per l'adattamento immediato al nuovo compito che contiene esattamente ${\displaystyle N\times K}$ campioni:

   ${\displaystyle {\mathcal {S}}=\left\{(x_{1},y_{1}),(x_{2},y_{2}),\dots ,(x_{N\cdot K},y_{N\cdot K})\right\}}$

2. Query set (${\displaystyle {\mathcal {Q}}}$): insieme di istanze non etichettate da classificare sulla base delle informazioni contenute in ${\displaystyle {\mathcal {S}}}$:

   ${\displaystyle {\mathcal {Q}}=\left\{x_{1}^{*},x_{2}^{*},\dots ,x_{M}^{*}\right\}}$

Approcci basati su metriche

Tali metodi apprendono uno spazio di rappresentazione (embedding) in cui campioni appartenenti alla stessa classe sono vicini secondo una determinata misura di distanza (ad es. la distanza euclidea o la similarità del coseno).

• Siamese Neural Network: si utilizzano due reti gemelle con pesi condivisi per confrontare la coppia ${\displaystyle ({\text{Supporto}},{\text{Query}})}$ e determinare se i campioni appartengono alla stessa classe.
• Matching Network: integrano meccanismi di attenzione dinamica (attention mechanism) e reti ricorrenti per calcolare la classe delle istanze di query come combinazione lineare delle etichette contenute in ${\displaystyle {\mathcal {S}}}$.
• Prototypical Network: si calcola un singolo prototipo ${\displaystyle c_{k}}$ per ogni classe come media degli embedding di ${\displaystyle {\mathcal {S}}}$ appartenenti alla classe ${\displaystyle k}$:

  ${\displaystyle c_{k}={\frac {1}{|{\mathcal {S}}_{k}|}}\sum _{(x_{i},y_{i})\in {\mathcal {S}}_{k}}f_{\theta }(x_{i})}$;

  la query ${\displaystyle x}$ viene poi assegnata alla classe del prototipo più vicino via softmax:

  ${\displaystyle P(y=k\mid x)={\frac {\exp(-d(f_{\theta }(x),c_{k}))}{\sum _{k^{\prime }}\exp(-d(f_{\theta }(x),c_{k^{\prime }}))}}}$

  dove ${\displaystyle f_{\theta }}$ è l'estrattore di feature parametrico impiegato per l'embedding e ${\displaystyle d(\cdot ,\cdot )}$ è la distanza euclidea.

Approcci basati su ottimizzazione

Questi metodi, noti anche come approcci al Meta-learning ("apprendere ad apprendere"), mirano ad addestrare l'inizializzazione dei parametri della rete affinché poi bastino pochi passi di discesa del gradiente per adattare il modello a un nuovo problema di apprendimento senza incorrere nel sovradattamento.

• MAML (Model-Agnostic Meta-Learning): approccio nel quale si ottimizza una configurazione iniziale dei parametri ${\displaystyle \theta }$ tale per cui una singola o poche iterazioni di discesa di gradiente su un task ${\displaystyle {\mathcal {T}}_{i}}$ producano parametri ottimali ${\displaystyle \theta _{i'}}$ per modelli di accuratezza elevata.

In-context learning nei modelli linguistici

Nei moderni LLM (come ad es. GPT-3 e LLaMA), il few-shot learning viene realizzato in modo puramente "in-context", ovvero senza aggiornare i pesi del modello via retropropagazione. Il modello riceve all'interno del prompt ${\displaystyle K}$ esempi dimostrativi prima dell'input finale.