5 Método de mínimos cuadrados

Sea $AX=b$ un sistema de ecuaciones lineales con $A\in M_{m\times n}(K)$. Dado $\tilde{X}\in K^{n}$, llamamos error cometido al tomar $\tilde{X}$ como solución del sistema a $\epsilon_{\tilde{X}}=\left\lVert A\tilde{X}-b\right\rVert\geq 0$.

Nuestro objetivo, dado un sistema $AX=b$, es hallar $\tilde{X}$ tal que $e_{\tilde{X}}$ sea lo más pequeño posible.

Sea $S$ el subespacio generado por las columnas de $A$. Como $v$, tomamos el término independiente. Buscamos $\tilde{X}$ tal que $A\tilde{X}$ sea $p_{S}(b)$, ya que es el vector de $S$ que “mas se parece a $b$”, es decir, si $\tilde{X}$ es tal que $A\tilde{X}=p_{S}(b)$ entonces $\epsilon_{\tilde{X}}=\left\lVert A\tilde{X}-b\right\rVert=\left\lVert p_{S}(b)-b\right\rVert$ es minimo.

Como hallamos $\tilde{X}$ tal que $A\tilde{X}=p_{S}(b)$?

Necesitamos hallar $\tilde{X}$ tal que $b-A\tilde{X}\in S^{\perp}$. Por lo tanto, hay que imponer que $,\ldots,0=\langle A^{(n)},b-A\tilde{X}\rangle$.

es decir, $\overline{A^{t}}\cdot(b-A\tilde{X})=\begin{pmatrix}0\\ \vdots\\ 0\\ \end{pmatrix}$, es decir $\overline{A^{t}}\cdot A\tilde{X}=\overline{A^{t}}b$ sistema auxiliar S.C. (puede ser determinado o indeterminado, pero $\epsilon_{\tilde{X}}$ es unico).

La solucion de este sistema auxiliar es la solucion de minimos cuadrados del sistema original.