Apprendimento gerarchico

L'apprendimento gerarchico (in inglese hierarchical learning) è un paradigma dell'apprendimento automatico fondato sulla scomposizione di un problema complesso in una struttura organizzata a più livelli, tipicamente ad albero o a grafo aciclico orientato.

In questo paradigma, i livelli inferiori elaborano rappresentazioni o sotto-problemi elementari, mentre i livelli superiori integrano tali informazioni per gestire astrazioni temporali a lungo termine o decisioni ad alto livello.

Principi teorici

A differenza dei modelli di apprendimento "piatti" (flat learning), che tentano di mappare direttamente gli input agli output in un unico spazio di rappresentazione, l'apprendimento gerarchico si basa sul principio della composizionalità.

Formalmente, data una funzione obiettivo astratta f(x), un'architettura gerarchica la approssima come una composizione di funzioni nidificate:

f(x)=fL(fL−1(…f1(x)…))

dove L rappresenta la profondità della gerarchia e fl la trasformazione operata al livello l-esimo.

Negli scenari di decision making sequenziale, come il rinforzo gerarchico, il problema viene formalizzato estendendo i tradizionali processi decisionali di Markov (MDP) attraverso il framework delle opzioni (Options Framework). Una macro-azione o opzione ω∈Ω è definita dalla tripla:

ω=⟨Iω,πω,βω⟩

dove:

Principali ambiti applicativi

Apprendimento profondo

Nelle reti neurali artificiali, le rappresentazioni gerarchiche emergono spontaneamente durante la fase di addestramento. Ad esempio, nelle reti neurali convoluzionali (CNN) applicate alla visione artificiale:

  1. i primi strati estraggono feature primarie (contorni, angoli, variazioni di colore);
  2. gli strati intermedi combinano le feature per individuare texture o parti di oggetti;
  3. gli strati finali assemblano le parti per identificare concetti complessi o classi di oggetti.

Apprendimento per rinforzo gerarchico

L'Hierarchical Reinforcement Learning (HRL) risolve il problema della maledizione della dimensionalità nei task caratterizzati da lunghi orizzonti temporali. Attraverso algoritmi come MAXQ o architetture gerarchiche di tipo attore-critico, l'agente impara a suddividere un obiettivo complesso in sotto-obiettivi (sub-goal) primitivi.

Vantaggi

Voci correlate

  Portale Informatica: accedi alle voci di Wikipedia che trattano di informatica