L'apprendimento gerarchico (in inglese hierarchical learning) è un paradigma dell'apprendimento automatico fondato sulla scomposizione di un problema complesso in una struttura organizzata a più livelli, tipicamente ad albero o a grafo aciclico orientato.
In questo paradigma, i livelli inferiori elaborano rappresentazioni o sotto-problemi elementari, mentre i livelli superiori integrano tali informazioni per gestire astrazioni temporali a lungo termine o decisioni ad alto livello.
A differenza dei modelli di apprendimento "piatti" (flat learning), che tentano di mappare direttamente gli input agli output in un unico spazio di rappresentazione, l'apprendimento gerarchico si basa sul principio della composizionalità.
Formalmente, data una funzione obiettivo astratta , un'architettura gerarchica la approssima come una composizione di funzioni nidificate:
dove rappresenta la profondità della gerarchia e la trasformazione operata al livello -esimo.
Negli scenari di decision making sequenziale, come il rinforzo gerarchico, il problema viene formalizzato estendendo i tradizionali processi decisionali di Markov (MDP) attraverso il framework delle opzioni (Options Framework). Una macro-azione o opzione è definita dalla tripla:
dove:
Nelle reti neurali artificiali, le rappresentazioni gerarchiche emergono spontaneamente durante la fase di addestramento. Ad esempio, nelle reti neurali convoluzionali (CNN) applicate alla visione artificiale:
L'Hierarchical Reinforcement Learning (HRL) risolve il problema della maledizione della dimensionalità nei task caratterizzati da lunghi orizzonti temporali. Attraverso algoritmi come MAXQ o architetture gerarchiche di tipo attore-critico, l'agente impara a suddividere un obiettivo complesso in sotto-obiettivi (sub-goal) primitivi.