Matrice aleatoria

In matematica, e in particolare in probabilità, con matrice aleatoria si intende una matrice in cui una parte o tutti i suoi ingressi sono variabili aleatorie estratte in modo casuale da una distribuzione di probabilità. In altre parole, è una variabile aleatoria a valori matriciali. Talvolta è utilizzata anche l’espressione matrice casuale come sinonimo, tuttavia tale dizione è non preferibile in contesti matematici.

La teoria delle matrici aleatorie studia le proprietà delle matrici aleatorie, focalizzandosi sul calcolo e la stima di quantità, come traccia, determinante, norma e spettro, in particolare per il limite di matrici a dimensionalità elevata. La teoria si avvale di strumenti come la teoria di campo medio, i metodi diagrammatici e il metodo delle cavità. Getta le sue basi nella seconda metà del XX secolo, grazie ai fondamentali contributi di Wigner, Dyson e Lal Mehta. L'importanza dell'argomento è giustificata dal fatto che numerosi fenomeni fisici e non, come lo spettro dei nuclei di atomi pesanti, la conducibilità termica di un reticolo o l’emergere del caos quantistico, i mercati azionari e lo studio della forma delle proteine possono essere modellati matematicamente come problemi relativi a matrici grandi e aleatorie.

Storia

Fisica nucleare e nascita delle matrici aleatorie

Enrico Fermi e collaboratori furono i primi che, tramite esperimenti, mostrarono che i nucleoni all’interno di un nucleo atomico non possono essere modellati come particelle che si muovono indipendentemente. Dunque questa osservazione indusse Niels Bohr alla formulazione del concetto di nucleo composto, secondo il quale le interazioni tra nucleoni, prima di decadere, danno luogo a stati intermedi. Fu questa teoria, nell’ambito della fisica nucleare, la prima ad utilizzare gli strumenti delle matrici aleatorie, al di fuori della letteratura matematica.

«Anche se potessimo sperimentare con neutroni o protoni di energie superiori a cento milioni di volt, dobbiamo comunque aspettarci che l’energia in eccesso di tali particelle venga in primo luogo distribuita tra le particelle nucleari […]. [Possiamo] tuttavia in tali casi aspettarci che in generale non una, ma diverse particelle cariche o non cariche lasceranno infine il nucleo a seguito dell'urto. Per impatti ancora più violenti, con particelle di energie dell’ordine di mille milioni di volt, dobbiamo addirittura prepararci al fatto che l’urto possa portare all’esplosione dell’intero nucleo.»

In assenza di una conoscenza dettagliata delle interazioni dirette tra nucleoni, Eugene Wigner propose di modellare l’Hamiltoniana nucleare come una matrice aleatoria. Per atomi con un numero elevato di nucleoni, la distribuzione degli autovalori dell’Hamiltoniana poteva essere utilizzata per stimare le sezioni d’urto dei processi di scattering, facendo ricorso alla distribuzione di Wishart.

Dyson e gli ensemble classici

Distribuzione degli autovalori di una matrice aleatoria complessa durante un'evoluzione dinamica.

Negli anni successivi, Freeman Dyson formalizzò ulteriormente il quadro teorico introducendo il concetto di ensemble di matrici aleatorie, in particolare classificando i cosiddetti ensemble classici (gaussiano ortogonale, unitario e simplettico), noti con l’acronimo inglese GOE, GUE e GSE. Tali ensemble descrivono differenti simmetrie fisiche associate all’Hamiltoniana, e si distinguono per il comportamento statistico degli autovalori.

Oltre alla fisica nucleare, la teoria delle matrici aleatorie ha trovato applicazioni in numerosi altri contesti, tra cui la fisica delle particelle, i sistemi disordinati (come la teoria della localizzazione di Anderson), la teoria dei numeri, la finanza quantitativa, e più recentemente, l’apprendimento automatico.

Sviluppi recenti

In particolare, sviluppi recenti nel campo del deep learning hanno mostrato che modelli di reti neurali profonde possono essere analizzati utilizzando strumenti della teoria delle matrici aleatorie. Le matrici dei pesi nelle reti neurali, soprattutto dopo l’addestramento, presentano spettro e proprietà statistiche che possono essere descritte in termini di distribuzioni di Wigner o Marčenko–Pastur. Tali osservazioni hanno portato alla nascita di una nuova disciplina, talvolta chiamata “Random Matrix Theory for Deep Learning”, che fornisce una cornice teorica per analizzare generalizzazione, dinamiche di apprendimento e stabilità nei modelli neurali complessi.

Trattazione matematica

Definizione formale

Una matrice aleatoria è una funzione misurabile definita su uno spazio di probabilità, i cui valori sono matrici a coefficienti reali o complessi. Formalmente, data una tripla (Ω,ℱ,ℙ) che rappresenta uno spazio di probabilità, una matrice aleatoria è una funzione

X:Ω→𝕂n×n

dove 𝕂=ℝ oppure ℂ, e ogni elemento Xij(ω) della matrice è una variabile aleatoria. La distribuzione congiunta degli elementi (oppure degli autovalori) della matrice è specificata da un modello probabilistico, detto ensemble.

Tra i casi più studiati si trovano:

In molti casi, l'interesse principale non risiede negli elementi della matrice, ma nel comportamento statistico degli autovalori, ad esempio mediante la misura spettrale empirica

μX:=1n∑i=1nδλi,

dove λ1,…,λn sono gli autovalori della matrice X. Tale approccio è alla base della moderna teoria delle matrici aleatorie e delle sue applicazioni in fisica teorica, statistica multivariata, teoria dei numeri e apprendimento automatico.

Ensemble classici

Nel contesto della teoria delle matrici aleatorie, un ensemble è una famiglia di matrici aleatorie dotata di una distribuzione di probabilità specifica, spesso determinata da proprietà di simmetria. Gli ensemble classici più studiati sono tre, introdotti e classificati da Freeman J. Dyson nel 1962 sulla base delle simmetrie fondamentali dei sistemi fisici e del comportamento sotto trasformazioni ortogonali, unitarie o simplettiche.

I principali ensemble gaussiani sono:

  • GOE (Gaussian Orthogonal Ensemble): comprende matrici reali simmetriche, i cui elementi sono distribuiti secondo leggi gaussiane indipendenti, con simmetria A=A⊤. Rilevante per sistemi con simmetria temporale e senza spin.
  • GUE (Gaussian Unitary Ensemble): comprende matrici hermitiane complesse, ovvero A=A†, con elementi complessi gaussiani. Rilevante per sistemi senza simmetria temporale, come quelli con campo magnetico esterno.
  • GSE (Gaussian Symplectic Ensemble): comprende matrici hermitiane quaternioniche (o rappresentazioni matriciali 2×2), associate a sistemi con simmetria temporale e spin.

Questi ensemble condividono una densità di probabilità del tipo:

P(A)∝exp⁡(−β2Tr(A2))

dove β=1 (GOE), β=2 (GUE), β=4 (GSE), e Tr indica la traccia della matrice. A è una matrice aleatoria e Tr(A2) è la traccia del quadrato della matrice, ovvero la somma dei quadrati dei suoi autovalori. Il parametro β codifica invece il tipo di simmetria. Dunque, P(A) è una densità: descrive quanto è probabile che la matrice aleatoria A assuma certi valori spettrali. Il parametro β ha anche interpretazione fisica in termini di temperatura nella meccanica statistica.

Sigla Denominazione Tipologia β Sistema
GOEOrtogonaleReale simmetrica1Sistemi con simmetria temporale
GUEUnitariaComplessa hermitiana2Sistemi senza simmetria temporale
GSESimpletticaQuaternionica hermitiana4Sistemi con spin e simmetria temporale

Matrici di Wishart

Un'importante classe di matrici aleatorie non gaussiane è costituita dalle matrici di Wishart. Introdotte da John Wishart nel 1928 in ambito statistico, esse emergono naturalmente nel contesto dell’analisi multivariata, della teoria dell’informazione e della fisica statistica.

Sia X una matrice rettangolare di dimensione n×p i cui elementi sono variabili aleatorie gaussiane reali, indipendenti e identicamente distribuite, con media zero e varianza unitaria. La matrice

W=X⊤X

è detta matrice di Wishart. Si tratta di una matrice simmetrica semi-definita positiva di dimensione p×p, che segue una distribuzione di Wishart. Più in generale, se le righe di X sono distribuite secondo una legge normale multivariata 𝒩p(0,Σ), allora W=X⊤X segue la distribuzione di Wishart con parametro di scala Σ e n gradi di libertà.

Le matrici di Wishart svolgono un ruolo cruciale in numerosi contesti. Per esempio:

  • In statistica, per stimare matrici di covarianza campionarie.
  • In fisica teorica e reti complesse, per modellare la struttura spettrale di sistemi non hermitiani o con correlazioni.

Un ensemble importante associato a queste matrici è detto ensemble di Wishart–Laguerre, in quanto la densità spettrale degli autovalori segue, nel limite asintotico, la legge di Marchenko–Pastur:

ρ(λ)=12πλ(λ+−λ)(λ−λ−)

dove λ±=(1±c)2 e c=pn nel limite n,p→∞ con c costante.

Densità empirica degli autovalori di matrici di Wishart generate da matrici gaussiane rettangolari X∈ℝn×p per diversi valori del rapporto γ=p/n. Al crescere di γ, il supporto della distribuzione si allarga e si assottiglia, secondo la previsione della legge di Marčenko–Pastur. Le curve teoriche (non mostrate) corrispondono alla densità ργ(λ) supportata in [(1−γ)2, (1+γ)2], per γ≥1.

Matrici sparse e non gaussiane

Al di fuori del regime classico degli ensemble gaussiani densi, esiste un ampio interesse per le matrici aleatorie sparse e non gaussiane, che modellano sistemi fisici e reti con connettività limitata o distribuzioni di probabilità non standard.

Una matrice aleatoria sparsa è una matrice A=(aij) in cui la maggior parte degli elementi è nulla, e solo una frazione ρ≪1 di essi è diversa da zero. Tipicamente, gli indici non nulli sono scelti in modo casuale, e i valori associati seguono una certa distribuzione (gaussiana, di Bernoulli, uniforme, ecc.).

Queste matrici emergono in:

Diversamente dagli ensemble gaussiani, gli autovalori delle matrici sparse possono mostrare localizzazione spettrale, comportamento non universale nei bordi dello spettro e assenza di legge semicircolare nei limiti di densità spettrale. Le distribuzioni degli elementi non devono essere gaussiane: studi recenti hanno esaminato matrici con elementi di tipo sub-gaussiano, di Lévy, o appartenenti a leggi a coda pesante (heavy-tailed).

Questi ensemble richiedono metodi differenti per l’analisi teorica, come il metodo delle cavità, il formalismo di replica e la teoria dei grafi aleatori.

Spettro e densità degli autovalori

Una delle principali questioni nello studio delle matrici aleatorie riguarda il comportamento dello spettro, ovvero l'insieme degli autovalori, e in particolare la loro distribuzione in limiti asintotici. Per matrici di grandi dimensioni, si osservano regolarità notevoli e universali nel modo in cui gli autovalori si distribuiscono.

Sia AN una matrice casuale N×N con autovalori reali λ1,…,λN. La densità empirica degli autovalori è definita come

ρN(λ)=1N∑i=1Nδ(λ−λi)

Nel limite N→∞, la densità converge (in senso debole) a una densità di probabilità deterministica ρ(λ), che dipende dalla classe di ensemble considerato.

Le proprietà dello spettro includono:

Questi risultati sono fondamentali sia in matematica pura sia in applicazioni a fisica, statistica, finanza e machine learning.

Legge di Wigner

Lo stesso argomento in dettaglio: Distribuzione di Wigner.

Nel contesto degli ensemble gaussiani simmetrici (come il GOE), la distribuzione limite degli autovalori è descritta dalla legge semicircolare di Wigner.

Sia WN una matrice simmetrica di dimensione N×N i cui elementi Wij sono variabili aleatorie indipendenti (fatta eccezione per la simmetria), con media nulla e varianza σ2/N. Allora, nel limite N→∞, la densità degli autovalori converge a

ρsc(λ)={12πσ24σ2−λ2se |λ|≤2σ0altrimenti

Questa distribuzione è supportata sull'intervallo [−2σ,2σ] ed è detta legge semicircolare per via della forma del suo grafico. Il risultato, scoperto da Eugene Wigner negli anni '50, è uno dei primi esempi di comportamento universale nella teoria delle matrici aleatorie: la forma semicircolare emerge indipendentemente dalla distribuzione precisa degli elementi (purché soddisfino ipotesi di momenti).

Distribuzione spettrale per GOE, GUE e GSE al crescere della dimensione N. Le densità convergono alla legge semicircolare di Wigner.

È possibile derivare la distribuzione congiunta degli autovalori reali di una matrice casuale (GOE, GUE, GSE) mediante un cambiamento di base. La densità di probabilità congiunta ha la forma:

P(λ1,…,λN)=CNexp⁡(−g∑iλi2)∏i<j|λi−λj|β

dove λi sono gli autovalori, CN è una costante di normalizzazione, g>0 un parametro di scala, e β=1,2,4 corrisponde rispettivamente agli ensemble GOE, GUE e GSE. Questa distribuzione implica una repulsione tra gli autovalori: la probabilità che due autovalori siano molto vicini (s→0) tende a zero, in netto contrasto con il comportamento di un processo di Poisson. Questa proprietà è nota come repulsione dei livelli.

Legge di Marčenko–Pastur

La legge di Marčenko–Pastur descrive il comportamento asintotico dello spettro delle matrici di covarianza campionarie, ed è la controparte della legge semicircolare per matrici rettangolari.

Sia X una matrice n×p con elementi reali indipendenti e identicamente distribuiti, a media zero e varianza σ2. Si considera la matrice di covarianza non normalizzata

W=1nX⊤X

che è una matrice di Wishart. Se n,p→∞ con rapporto c=pn∈(0,+∞) fisso, allora la densità empirica degli autovalori di W converge (quasi sicuramente) alla distribuzione di Marčenko–Pastur:

ρMP(λ)={12πσ2cλ(λ+−λ)(λ−λ−)se λ∈[λ−,λ+]0altrimenti

dove i bordi dello spettro sono

λ±=σ2(1±c)2

Per c<1, la distribuzione presenta un atomo di Dirac in zero con peso 1−c.

La legge di Marčenko–Pastur trova applicazioni in statistica multivariata (analisi delle componenti principali), fisica teorica (spettro delle matrici di tipo Wishart) ed apprendimento automatico e random feature models.

Comportamento degli autovalori estremi (Tracy–Widom)

Oltre alla distribuzione globale degli autovalori, grande interesse teorico e applicativo riguarda il comportamento degli autovalori estremi, in particolare il massimo (o minimo) autovalore di matrici aleatorie di grande dimensione.

Distribuzione di Tracy-widom confrontata con una Normale standard.

Per molte classi di matrici (come l’ensemble gaussiano ortogonale – GOE, unitario – GUE, o simmetrico reale), si dimostra che l’autovalore più grande λmax non cresce indefinitamente con N, ma fluttua intorno a un valore deterministico, con fluttuazioni descritte da una legge non gaussiana, detta legge di Tracy–Widom.

Sia WN una matrice del GUE di dimensione N×N, allora vale:

ℙ(λmax−2σNN−1/6≤s)⟶F2(s)

dove F2(s) è la distribuzione di Tracy–Widom di tipo 2. Analogamente, per il GOE si ottiene F1(s). Queste distribuzioni sono legate alle soluzioni dell’equazione di Painlevé II e non hanno espressioni chiuse elementari. Tuttavia, esse descrivono in modo universale le fluttuazioni dell’autovalore massimo per un’ampia classe di matrici, anche al di fuori dei modelli gaussiani.

La legge di Tracy–Widom compare in numerosi ambiti:

Localizzazione e delocalizzazione degli autovettori

Nello studio delle matrici aleatorie non solo gli autovalori sono oggetto di analisi, ma anche le proprietà strutturali degli autovettori associati. Una questione centrale è se un autovettore associato a un certo autovalore sia localizzato (concentrato su poche componenti) oppure delocalizzato (distribuito uniformemente su tutte le componenti).

Formalmente, dati gli autovettori v(1),…,v(N) di una matrice aleatoria simmetrica AN, si definisce un indice di partecipazione come:

IPR(v)=∑i=1N|vi|4

Un valore piccolo di IPR(v) indica che il vettore è distribuito su molte componenti (delocalizzato), mentre un valore grande segnala localizzazione. Per le matrici gaussiane dense (GOE, GUE), è noto che gli autovettori sono fortemente delocalizzati: ciascuna componente ha modulo quadrato dell’ordine di 1/N con alta probabilità. Viceversa, in modelli sparsi o con disordine forte (es. matrici a banda o matrici con struttura casuale), può emergere localizzazione. In tali casi, solo un sottoinsieme ristretto delle componenti dell'autovettore è significativamente diverso da zero.

La transizione tra comportamento localizzato e delocalizzato è legata a fenomeni di transizione di Anderson, con implicazioni nella:

Mappa di calore delle componenti al quadrato degli autovettori corrispondenti agli autovalori più alti di due matrici aleatorie simmetriche: una matrice di Wigner (a sinistra) e una matrice sparsa (a destra).Nella matrice densa gli autovettori appaiono delocalizzati, con valori distribuiti su tutte le componenti; nella matrice sparsa si osservano invece fenomeni di localizzazione, in cui pochi componenti dominano.Questo effetto è centrale nella teoria della localizzazione di Anderson e nella comprensione della transizione delocalizzazione/localizzazione in sistemi disordinati.

Articoli fondanti

I fondamenti della teoria delle matrici aleatorie sono stati gettati nella seconda metà del XX secolo attraverso una serie di lavori pionieristici che ne hanno definito il quadro concettuale e metodologico. Tra i contributi più influenti si annoverano:

Note

  1. 1 2 3 4 (EN) Terence Tao, Topics in Random Matrix Theory, collana Graduate Studies in Mathematics, vol. 132, American Mathematical Society, 2012, p. 282, DOI:10.1090/gsm/132, ISBN 978-0-8218-7430-1.
  2. 1 2 3 4 5 6 Giacomo Livan, Marcel Novaes e Pierpaolo Vivo, Introduction to Random Matrices: Theory and Practice, collana SpringerBriefs in Mathematical Physics, vol. 26, Springer, 2018, p. 133, ISBN 978-3-319-70883-6, DOI:10.1007/978-3-319-70885-0.
  3. 1 2 3 4 5 6 7 8 Eugene P. Wigner, Characteristic Vectors of Bordered Matrices with Infinite Dimensions, in Annals of Mathematics, vol. 62, n. 3, 1955, pp. 548–564, DOI:10.2307/1970079.
  4. 1 2 3 4 5 6 7 Freeman J. Dyson, Statistical theory of the energy levels of complex systems. I–III, in Journal of Mathematical Physics, vol. 3, n. 1, 1962, pp. 140–175, DOI:10.1063/1.1703773.
  5. 1 2 Madan Lal Mehta, Random Matrices, 1ª ed., New York, Academic Press, 1967, pp. 33-181.
  6. 1 2 3 4 5 6 7 Bertrand Eynard, «L'universalité des matrices aléatoires», Pour la science, nº 487, maggio 2018, pp. 34-44.
  7. 1 2 Bohr, Niels (1936). The Compound Nucleus. Disponibile online presso il Max Planck Institute for the History of Science: https://www.mprl-series.mpg.de/proceedings/5/11/index.html.
  8. 1 2 Pennington, J., & Bahri, Y. (2017). “Geometry of neural network loss surfaces via random matrix theory”. In: Proceedings of the 34th International Conference on Machine Learning (ICML), Vol. 70, pp. 2798–2806. PMLR. Disponibile online: https://proceedings.mlr.press/v70/pennington17a.html.
  9. ↑ Martin, C. H., & Mahoney, M. W. (2021). “Implicit self-regularization in deep neural networks: Evidence from random matrix theory and implications for learning”. Journal of Machine Learning Research, 22(165): 1–73. Disponibile online: https://www.jmlr.org/papers/v22/20-1250.html.
  10. 1 2 3 4 5 John Wishart, The generalised product moment distribution in samples from a normal multivariate population, in Biometrika, 20A, 1–2, 1928, pp. 32–52, DOI:10.1093/biomet/20A.1-2.32.
  11. ↑ Antonia M. Tulino e Sergio Verdú, Random Matrix Theory and Wireless Communications, Now Publishers, 2004, pp. 21-29.
  12. 1 2 G.J. Rodgers e A.J. Bray, Density of states of sparse random matrices, in Physical Review B, vol. 37, 1988, pp. 3557–3562, DOI:10.1103/PhysRevB.37.3557.
  13. 1 2 A. Khorunzhy, Sparse random matrices: spectral edge and statistics of rooted trees, in Advances in Applied Probability, vol. 33, n. 1, 2001, pp. 124–140.
  14. 1 2 3 Vladimir A. Marčenko e Leonid A. Pastur, Distribution of eigenvalues for some sets of random matrices, in Mathematics of the USSR–Sbornik, vol. 1, n. 4, 1967, pp. 457–483, DOI:10.1070/SM1967v001n04ABEH001994.
  15. 1 2 3 4 Craig A. Tracy e Harold Widom, Level-spacing distributions and the Airy kernel, in Communications in Mathematical Physics, vol. 159, n. 1, 1994, pp. 151–174, DOI:10.1007/BF02100489.
  16. 1 2 3 4 Fritz Evers e Alexander D. Mirlin, Anderson transitions, in Reviews of Modern Physics, vol. 80, n. 4, 2008, pp. 1355–1417, DOI:10.1103/RevModPhys.80.1355.

Bibliografia

Voci correlate

Collegamenti esterni

Controllo di autoritàLCCN (EN) sh86001920 · J9U (EN, HE) 987007543966505171