Lezione 29

1 Sottospazi ortogonali, proiezioni ortogonali

Teorema. Sia $V$ uno spazio euclideo di dimensione $n$. Per ogni sottospazio $U$ di $V$, si ha

$$dim{U}^{⟂}=n-dimU$$

Dimostrazione. Sia $U$ un sottospazio di dimensione $r$ di $V$ e consideriamo una base $v_1,v_2,\mathrm{\dots },v_r$ di $U$. Completiamo questa base in modo da ottenere una base $v_1,\mathrm{\dots },v_r,v_{r+1},\mathrm{\dots },v_n$ di $V$. Un vettore $v={\lambda }_1{v}_1+{\lambda }_2{v}_2+\mathrm{\cdots }+{\lambda }_n{v}_n$ appartiene a $U^{⟂}$ se e solo se $g(u,v)=0$, per ogni $u\in U$. Poiché i vettori $v_1,v_2,\mathrm{\dots },v_r$ sono una base di $U$, ciò equivale a richiedere che $g(v_i,v)=0$ per $i=1,\mathrm{\dots },r$. Si hanno dunque le seguenti equazioni

$g(v_i,v)$ $=g(v_i,{\lambda }_1{v}_1+{\lambda }_2{v}_2+\mathrm{\cdots }+{\lambda }_n{v}_n)$

$={\lambda }_{1}g(v_i,v_1)+{\lambda }_{2}g(v_i,v_2)+\mathrm{\cdots }+{\lambda }_{n}g(v_i,v_n)$

$=g_{i1}{\lambda }_1+g_{i2}{\lambda }_2+\mathrm{\cdots }+g_{in}{\lambda }_n=0$

per $i=1,\mathrm{\dots },r$. In questo modo si ottiene un sistema di equazioni lineari omogenee la cui matrice ha rango massimo $r$. Dal teorema di Rouché–Capelli segue che lo spazio delle soluzioni di questo sistema ha dimensione $n-r$. Dato che le soluzioni di tale sistema forniscono le componenti, rispetto alla base $v_1,\mathrm{\dots },v_n$, dei vettori appartenenti al sottospazio $U^{⟂}$ di $V$, si conclude che $dim{U}^{⟂}=n-r$.

Corollario. Sia $V$ uno spazio euclideo di dimensione finita. Per ogni sottospazio $U$ di $V$, si ha

$${(U^{⟂})}^{⟂}=U$$

Dimostrazione. Se $n=dimV$, per il teorema precedente si ha:

$$dim{(U^{⟂})}^{⟂}=n-dim{U}^{⟂}=n-(n-dimU)=dimU$$

Pertanto $U$ e ${(U^{⟂})}^{⟂}$ sono due sottospazi vettoriali della stessa dimensione. Poiché sappiamo che $U\subseteq {(U^{⟂})}^{⟂}$, deve necessariamente essere $U={(U^{⟂})}^{⟂}$.

Corollario. Sia $V$ uno spazio euclideo di dimensione finita. Per ogni sottospazio $U$ di $V$, si ha

$$V=U\oplus U^{⟂}$$

Dimostrazione. Se $v\in U\cap U^{⟂}$, deve essere $g(v,v)=0$. Questo implica che $v=0$, quindi $U\cap U^{⟂}=\{0\}$. Posto $n=dimV$, si ha $dim{U}^{⟂}=n-dimU$, pertanto dalla formula di Grassmann, si ottiene

$$dim(U+U^{⟂})=dimU+dim{U}^{⟂}=dimV$$

e dunque $U+U^{⟂}=V$.

Osservazione. Nelle ipotesi del corollario precedente, ogni vettore $v\in V$ si può scrivere in modo unico come somma di un vettore $u\in U$ e di un vettore $w\in U^{⟂}$:

$$v=u+w,u\in U,w\in U^{⟂}$$

I vettori $u$ e $w$ sono detti, rispettivamente, le proiezioni ortogonali di $v$ sui sottospazi $U$ e $U^{⟂}$.

1.1 Proiezioni ortogonali

Nello spazio euclideo ${ℝ}^n$ consideriamo un sottospazio vettoriale $U\subset {ℝ}^n$, di dimensione $r\ge 1$; sia $\{u_1,u_2,\mathrm{\dots },u_r\}$ una sua base. Abbiamo già visto che ${ℝ}^n=U\oplus U^{⟂}$, pertanto ogni vettore $v\in {ℝ}^n$ si scrive in modo unico nella forma $v=u+w$, con $u\in U$ e $w\in U^{⟂}$. Indichiamo con ${\mathrm{pr}}_U:{ℝ}^n\to {ℝ}^n$ la funzione lineare che associa a ogni $v\in {ℝ}^n$ la sua proiezione ortogonale $u={\mathrm{pr}}_U(v)$ sul sottospazio $U$.

Ora ci proponiamo di determinare la matrice della funzione ${\mathrm{pr}}_U$ rispetto alla base canonica di ${ℝ}^n$.

Dato $v\in {ℝ}^n$, il vettore $u={\mathrm{pr}}_U(v)$ si può scrivere (in modo unico) come combinazione lineare dei vettori della base di $U$

$$u=x_1{u}_1+x_2{u}_2+\mathrm{\cdots }+x_r{u}_r$$

Se indichiamo con $A=(u_1,u_2,\mathrm{\dots },u_r)$ la matrice le cui colonne sono costituite dai vettori $u_1,u_2,\mathrm{\dots },u_r$, l’uguaglianza precedente si può riscrivere nella forma

$$u=AX,\text{ove }X=\left(\begin{array}{c}{x}_1\\ \mathrm{⋮}\\ x_r\end{array}\right)$$

I coefficienti incogniti $x_1,\mathrm{\dots },x_r$ devono essere determinati in modo che il vettore $w=v-u=v-AX$ appartenga al sottospazio $U^{⟂}$; si deve quindi avere $u_i\cdot w=0$, per $i=1,\mathrm{\dots },r$.

Ricordando che il prodotto scalare dei due vettori $u_i$ e $w$ non è altro che il prodotto righe per colonne del vettore $u_i$, scritto in riga, per il vettore $w$, scritto in colonna, le $r$ equazioni $u_1\cdot w=0$, $u_2\cdot w=0$, …, $u_r\cdot w=0$, si possono riscrivere nella forma $A^{T}w=0$, cioè $A^T(v-AX)=A^{T}v-A^{T}AX=0$.

I coefficienti $x_1,\mathrm{\dots },x_r$ sono dunque le soluzioni del seguente sistema di equazioni lineari:

$$(A^{T}A)X=A^{T}v$$

Lemma. Per ogni sottospazio vettoriale $U\subseteq {ℝ}^n$ di dimensione $r\ge 1$, con base $\{u_1,u_2,\mathrm{\dots },u_r\}$, la matrice $A^{T}A$ è invertibile.

Dimostrazione. Sia $G=A^{T}A$. Per ogni $i,j=1,\mathrm{\dots },r$, il coefficiente $g_{i,j}$ della matrice $G$ è dato dal prodotto scalare dei vettori $u_i$ e $u_j$, $g_{i,j}=u_i\cdot u_j$.

Ciò significa che $G$ è la matrice del prodotto scalare in $U$, rispetto alla base $\{u_1,u_2,\mathrm{\dots },u_r\}$. Dato che il prodotto scalare è una forma bilineare simmetrica non-degenere, si ha $detG=det(A^{T}A)\ne 0$, quindi la matrice $A^{T}A$ è invertibile.

L’invertibilità della matrice $A^{T}A$ permette di concludere che il sistema lineare $(A^{T}A)X=A^{T}v$ ha un’unica soluzione, data da $X={(A^{T}A)}^{-1}{A}^{T}v$. Si ha pertanto

$$u={\mathrm{pr}}_U(v)=AX=A{(A^{T}A)}^{-1}{A}^{T}v$$

La matrice

$$P=A{(A^{T}A)}^{-1}{A}^T$$

è dunque la matrice della proiezione ortogonale ${\mathrm{pr}}_U:{ℝ}^n\to {ℝ}^n$, rispetto alla base canonica di ${ℝ}^n$.

Osservazione. Si noti che la matrice $P$ è tale che $P^2=P$. Infatti

$P^2$ $=P\cdot P=\left(A{(A^{T}A)}^{-1}{A}^T\right)\left(A{(A^{T}A)}^{-1}{A}^T\right)$

$=A{(A^{T}A)}^{-1}(A^{T}A){(A^{T}A)}^{-1}{A}^T$

$=A{(A^{T}A)}^{-1}{A}^T=P$

Osservazione. Dalla definizione della funzione ${\mathrm{pr}}_U:{ℝ}^n\to {ℝ}^n$, si deduce che la matrice corrispondente $P=A{(A^{T}A)}^{-1}{A}^T$ ha come unici autovalori $0$ e $1$. L’autospazio relativo all’autovalore $1$ è il sottospazio $U$, mentre l’autospazio relativo all’autovalore $0$ (cioè il nucleo di ${\mathrm{pr}}_U$) è il sottospazio $U^{⟂}$.

Esempio. Sia $U=⟨u_1,u_2⟩$ il sottospazio vettoriale di ${ℝ}^4$ generato dai vettori $u_1=(1,0,-1,1)$ e $u_2=(2,1,0,1)$. La matrice $A$, le cui colonne sono i vettori $u_1$ e $u_2$, è

Si ha quindi

L’inversa della matrice $A^{T}A$ è

La matrice $P$ della proiezione ortogonale su $U$ è quindi

$P$

1.2 Il metodo dei minimi quadrati

Immaginiamo di voler determinare l’equazione di una retta, nel piano cartesiano, passante per $n$ punti assegnati $P_1=(a_1,b_1)$, $P_2=(a_2,b_2)$, …, $P_n=(a_n,b_n)$. Considerando una retta di equazione $y=mx+q$ e imponendo la condizione di passaggio per i punti assegnati, si ottiene il seguente sistema di equazioni lineari, nelle incognite $m$ e $q$:

In notazione matriciale questo sistema si riscrive come segue:

Naturalmente, se i punti assegnati sono più di due, non esiste alcuna retta che passi per essi (a meno che tali punti non siano perfettamente allineati).

Dal punto di vista del sistema lineare precedente, il motivo per cui tale sistema non ammette soluzione è che il vettore $B$ costituito dalla colonna dei termini noti non appartiene al sottospazio vettoriale di ${ℝ}^n$ generato dalle colonne della matrice $A$ del sistema.

In tale situazione il meglio che possiamo fare è cercare una retta che approssimi, nel modo migliore possibile, i punti dati.

Motivati da questo semplice esempio, consideriamo, in generale, un sistema di $n$ equazioni lineari in $r$ incognite (con $n>r$), del tipo

$$AX=B$$

Supponiamo che la matrice $A$ abbia rango massimo, pari a $r$. Ciò significa che le $r$ colonne $A_{(1)},A_{(2)},\mathrm{\dots },A_{(r)}$ di $A$ sono linearmente indipendenti. Indichiamo con $U\subset {ℝ}^n$ il sottospazio vettoriale generato dalle colonne di $A$. Sappiamo che il sistema $AX=B$ ammette soluzione se e solo se il vettore colonna $B$ appartiene al sottospazio $U$. Se, al contrario, $B$ non appartiene a $U$, non esiste alcun vettore $X\in {ℝ}^r$ tale che $AX=B$. In tal caso possiamo cercare di determinare un vettore $X$ che renda minima la differenza $B-AX$.

Osserviamo che, al variare di $X\in {ℝ}^r$, l’insieme dei vettori $AX$ descrive l’intero sottospazio $U$. Il nostro problema è dunque quello di trovare un vettore $AX\in U$ tale che il vettore $B-AX$ abbia norma minima. La situazione è descritta nella figura seguente:

È immediato verificare che il vettore $B-AX$ ha norma minima precisamente quando esso è ortogonale al sottospazio $U$; in tal caso il vettore $AX$ non è altro che la proiezione ortogonale di $B$ su $U$.

Dato che il sottospazio $U$ è generato dalle colonne $A_{(1)},A_{(2)},\mathrm{\dots },A_{(r)}$ della matrice $A$, la condizione di ortogonalità tra $B-AX$ e $U$, cioè tra $B-AX$ e i vettori $A_{(i)}$, è espressa dall’equazione $A^T(B-AX)=0$. Tale equazione equivale al seguente sistema lineare:

$$(A^{T}A)X=A^{T}B$$

L’ipotesi che la matrice $A$ abbia rango $r$, cioè che le sue $r$ colonne siano linearmente indipendenti, implica che la matrice $A^{T}A$ è invertibile, quindi il sistema ammette un’unica soluzione data da $X={(A^{T}A)}^{-1}{A}^{T}B$. Come dicevamo, questo è il vettore $X\in {ℝ}^r$ che rende minima la differenza tra il vettore $B$ dei termini noti e il vettore $AX$.