Quoziente di Rayleigh

In matematica, in particolare nell'ambito dell'algebra lineare e dell'analisi funzionale, per una data matrice hermitiana $A$ e un vettore non nullo $x$ , il quoziente di Rayleigh è il numero reale:

R (A, x) := \frac{x^{†} A x}{x^{†} x}

dove $x^{†}$ indica il vettore trasposto coniugato di $x$ . Anche se definito tramite quantità complesse, il quoziente di Rayleigh è sempre reale, essendo $x^{†} A x$ una forma hermitiana ed essendo $x^{†} x = ‖ x ‖^{2}$ , dove $‖ \cdot ‖$ indica la norma euclidea. Come verifica, è sufficiente porre $α := x^{†} A x$ e osservare che, essendo $A^{†} = A$ , si ha:

α^{†} = x^{†} A^{†} x = x^{†} A x = α

ma ciò implica che $α \in ℝ$ .

Si può dimostrare che il quoziente di Rayleigh assume il valore minimo $λ_{min}$ , che è il più piccolo autovalore di $A$ , quando $x$ è il corrispondente autovettore $v_{min}$ . Analogamente, si ha $R (A, x) \leq λ_{max}$ e $R (A, v_{max}) = λ_{max}$ .

L'immagine del quoziente di Rayleigh è lo spettro di $A$ , e il numero $λ_{max}$ è il raggio spettrale.

Matrice delle covarianze

Un caso di particolare importanza si verifica quando la matrice $A$ è la matrice delle covarianze. Un tale matrice può essere rappresentata dal prodotto $D^{'} D$ , dove $D$ è una matrice di dati empirici e $D^{'}$ la sua trasposta. Essendo simmetrica, $A$ possiede autovalori non negativi e autovettori ortogonali (più precisamente, ortonormalizzabili). Infatti:

A v_{i} = D^{'} D v_{i} = λ_{i} v_{i}

\Rightarrow {v_{i}}^{'} D^{'} D v_{i} = {v_{i}}^{'} λ_{i} v_{i}

\Rightarrow {‖ D v_{i} ‖}^{2} = λ_{i} {‖ v_{i} ‖}^{2}

\Rightarrow λ_{i} = \frac{{‖ D v_{i} ‖}^{2}}{{‖ v_{i} ‖}^{2}} \geq 0

ovvero gli autovalori $λ_{i}$ non sono negativi. Inoltre:

\begin{matrix} A v_{i} = λ_{i} v_{i} \\ \Rightarrow {v_{j}}^{'} A v_{i} = λ_{i} {v_{j}}^{'} v_{i} \\ \Rightarrow {(A v_{j})}^{'} v_{i} = λ_{j} {v_{j}}^{'} v_{i} \\ \Rightarrow λ_{j} {v_{j}}^{'} v_{i} = λ_{i} {v_{j}}^{'} v_{i} \\ \Rightarrow (λ_{j} - λ_{i}) {v_{j}}^{'} v_{i} = 0 \\ \Rightarrow {v_{j}}^{'} v_{i} = 0 \end{matrix}

ovvero gli autovettori $v_{j}$ sono ortogonali (ortonormalizzabili nel caso di autovettori differenti/molteplici).

Per mostrare che il quoziente di Rayleigh è massimizzato dall'autovettore relativo al più grande autovalore (raggio spettrale), si consideri la decomposizione di un generico vettore $x$ nella base degli autovettori $v_{i}$ :

x = \sum_{i = 1}^{n} α_{i} v_{i}

dove:

α_{i} = \frac{x^{'} v_{i}}{{v_{i}}^{'} v_{i}} = \frac{⟨ x, v_{i} ⟩}{{‖ v_{i} ‖}^{2}}

è la coordinata di $x$ proiettata ortogonalmente su $v_{i}$ . Quindi si ha:

R (A, x) = \frac{x^{'} D^{'} D x}{x^{'} x} = \frac{{(\sum_{j = 1}^{n} α_{j} v_{j})}^{'} (D^{'} D) (\sum_{i = 1}^{n} α_{i} v_{i})}{{(\sum_{j = 1}^{n} α_{j} v_{j})}^{'} (\sum_{i = 1}^{n} α_{i} v_{i})}

che per la mutua perpendicolarità degli autovettori diventa:

R (A, x) = \frac{\sum_{i = 1}^{n} α_{i}^{2} λ_{i}}{\sum_{i = 1}^{n} α_{i}^{2}} = \sum_{i = 1}^{n} λ_{i} \frac{(x^{'} v_{i})^{2}}{(x^{'} x) ({v_{i}}^{'} v_{i})}

ovvero il quoziente di Rayleigh è la somma dei coseni al quadrato degli angoli formati tra $x$ e gli autovettori $v_{i}$ , pesata per i rispettivi autovalori.

Se un vettore $x$ massimizza $R (A, x)$ , allora anche ogni scalare non nullo $k x$ massimizza $R$ e pertanto il problema può essere ridotto al metodo di Lagrange per massimizzare $\sum_{i = 1}^{n} α_{i}^{2} λ_{i}$ , a condizione che:

\sum_{i = 1}^{n} α_{i}^{2} = 1

Formulazione tramite moltiplicatori di Lagrange

Questo risultato può essere ricavato anche utilizzando il metodo dei moltiplicatori di Lagrange. Il problema consiste nel trovare i punti critici della funzione:

R (A, x) = x^{T} A x

soggetta al vincolo $‖ x ‖^{2} = x^{T} x = 1$ . Si tratta cioè di trovare i punti critici di:

ℒ (x) = x^{T} A x - λ (x^{T} x - 1)

dove $λ$ è un moltiplicatore di Lagrange. Il punto stazionario di $ℒ (x)$ si verifica quando:

\frac{d ℒ (x)}{d x} = 0

\Rightarrow 2 x^{T} A^{T} - 2 λ x^{T} = 0

\Rightarrow A x = λ x

e:

R (A, x) = \frac{x^{T} A x}{x^{T} x} = λ \frac{x^{T} x}{x^{T} x} = λ

Quindi, gli autovettori $x_{1}, \dots, x_{n}$ di $A$ sono i punti critici del quoziente di Rayleigh e i rispettivi autovalori $λ_{1}, \dots, λ_{n}$ sono i valori stazionari di $R$ .

Utilizzo nella teoria di Sturm-Liouville

La teoria di Sturm-Liouville studia l'azione dell'operatore lineare:

L (y) = \frac{1}{w (x)} (- \frac{d}{d x} [p (x) \frac{d y}{d x}] + q (x) y)

sullo spazio prehilbertiano definito da:

⟨ y_{1}, y_{2} ⟩ = \int_{a}^{b} w (x) y_{1} (x) y_{2} (x) d x

composto da funzioni che soddisfano alcune specifiche condizioni al contorno in $a$ e $b$ . In tal caso il quoziente di Rayleigh è:

\frac{⟨ y, L y ⟩}{⟨ y, y ⟩} = \frac{\int_{a}^{b} y (x) (- \frac{d}{d x} [p (x) \frac{d y}{d x}] + q (x) y (x)) d x}{\int_{a}^{b} w (x) y (x)^{2} d x}

Talvolta è presentato in una forma equivalente, ottenuta separando l'integrale al numeratore e utilizzando l'integrazione per parti:

\begin{matrix} \frac{⟨ y, L y ⟩}{⟨ y, y ⟩} & = \frac{{\int_{a}^{b} y (x) (- \frac{d}{d x} [p (x) y^{'} (x)]) d x} + {\int_{a}^{b} q (x) y (x)^{2} d x}}{\int_{a}^{b} w (x) y (x)^{2} d x} \\ = \frac{{{- y (x) [p (x) y^{'} (x)] |}_{a}^{b}} + {\int_{a}^{b} y^{'} (x) [p (x) y^{'} (x)] d x} + {\int_{a}^{b} q (x) y (x)^{2} d x}}{\int_{a}^{b} w (x) y (x)^{2} d x} \\ = \frac{{{- p (x) y (x) y^{'} (x) |}_{a}^{b}} + {\int_{a}^{b} [p (x) y^{'} (x)^{2} + q (x) y (x)^{2}] d x}}{\int_{a}^{b} w (x) y (x)^{2} d x} \end{matrix}

Generalizzazione

Per una data coppia di matrici $(A, B)$ e per un dato vettore $x \neq \vec{0}$ , il quoziente di Rayleigh generalizzato è definito come:

R (A, B; x) := \frac{x^{*} A x}{x^{*} B x}

Il quoziente di Rayleigh generalizzato può essere ridotto al quoziente di Rayleigh $R (D, C^{*} x)$ attraverso la trasformazione $D = C^{- 1} A {C^{*}}^{- 1}$ , dove $C C^{*}$ è la decomposizione di Cholesky della matrice hermitiana $B$ definita positiva.

Bibliografia

(EN) Shi Yu, Léon-Charles Tranchevent, Bart Moor, Yves Moreau, Kernel-based Data Fusion for Machine Learning: Methods and Applications in Bioinformatics and Text Mining, Ch. 2, Springer, 2011.
(EN) Horn, R. A. and C. A. Johnson. 1985. Matrix Analysis. Cambridge University Press. pp. 176–180.
(EN) Parlet B. N. The symmetric eigenvalue problem, SIAM, Classics in Applied Mathematics, 1998.

Voci correlate

Collegamenti esterni

cs.huji.ac.il - Lagrange Multipliers and the Rayleigh Quotient (PDF), su cs.huji.ac.il.

Portale Matematica: accedi alle voci di Wikipedia che trattano di matematica

V · D · M Algebra lineare
Spazio vettoriale	Vettore · Sottospazio vettoriale (Sottospazio generato) · Applicazione lineare (Nucleo · Immagine) · Base · Dimensione · Teorema della dimensione · Formula di Grassmann · Sistema lineare · Algoritmo di Gauss · Teorema di Rouché-Capelli · Regola di Cramer · Spazio duale · Spazio proiettivo · Spazio affine · Teorema della dimensione per spazi vettoriali
Matrici	Identità · Nulla · Quadrata · Invertibile · Simmetrica · Antisimmetrica · Trasposta · Diagonale · Triangolare · Di cambiamento di base · Ortogonale · Normale · Rotazione · Simplettica · Moltiplicazione di matrici · Rango · Teorema di Kronecker · Minore · Matrice dei cofattori · Determinante · Teorema di Binet · Teorema di Laplace · Radice quadrata di una matrice
Diagonalizzabilità	Autovettore e autovalore · Spettro · Polinomio caratteristico · Polinomio minimo · Teorema di Hamilton-Cayley · Matrice a blocchi · Forma canonica di Jordan · Teorema di diagonalizzabilità
Prodotto scalare	Forma bilineare · Sottospazio ortogonale · Spazio euclideo · Base ortonormale · Algoritmo di Lagrange · Segnatura · Teorema di Sylvester · Gram-Schmidt · Forma sesquilineare · Forma hermitiana · Teorema spettrale