Autor Tema: Ecuaciones normales de mínimos cuadrados

0 Usuarios y 1 Visitante están viendo este tema.

21 Octubre, 2011, 05:52 pm
Leído 1993 veces

Héctor Manuel

  • Lathi
  • Mensajes: 3,701
  • País: mx
  • Karma: +0/-0
  • Sexo: Masculino
Hola.  Estoy trabajando con mínimos cuadrados, pero utilizando análisis en vez de álgebra lineal.  El problema que tengo es el siguiente:  Sean \( n<M \) y \( \{(x_i,y_i):i=0,\cdots,M\} \) puntos tales que \( x_i\neq x_j \). 

Mostrar que el sistema de ecuaciones

\( \left\{\begin{array}{ccccccccccc}
a_0\displaystyle\sum_{i=0}^Mx_i^0&+&a_1\displaystyle\sum_{i=0}^Mx_i^1&+&a_2\displaystyle\sum_{i=0}^Mx_i^2&+&\cdots&+&a_n\displaystyle\sum_{i=0}^Mx_i^n&=&\displaystyle\sum_{i=0}^My_ix_i^0\\
a_0\displaystyle\sum_{i=0}^Mx_i^1&+&a_1\displaystyle\sum_{i=0}^Mx_i^2&+&a_2\displaystyle\sum_{i=0}^Mx_i^3&+&\cdots&+&a_n\displaystyle\sum_{i=0}^Mx_i^{n+1}&=&\displaystyle\sum_{i=0}^My_ix_i^1\\\vdots\\a_0\displaystyle\sum_{i=0}^Mx_i^n&+&a_1\displaystyle\sum_{i=0}^Mx_i^{n+1}&+&a_2\displaystyle\sum_{i=0}^Mx_i^{n+2}&+&\cdots&+&a_n\displaystyle\sum_{i=0}^Mx_i^{2n}&=&\displaystyle\sum_{i=0}^My_ix_i^n\\
\end{array} \)

conduce a una matriz invertible y por tanto tiene solución única.

No he podido mostrar que la matriz es invertible, aunque es claro que es simétrica.  El sistema anterior resulta de buscar el polinomio de grado n que mejor aproxime a los datos en términos de mínimos cuadrados.

Espero que me puedan ayudar.

Saludos.

22 Octubre, 2011, 02:21 am
Respuesta #1

HernanV

  • FIUBA
  • $$\Large \color{#5b61b3}\pi\,\pi\,\pi\,\pi\,\pi$$
  • Mensajes: 2,059
  • Karma: +2/-0
  • Sexo: Masculino
Hola,

El sistema que propones puede escribirse, naturalmente, como \( \displaystyle A^{T}A \hat{x} = A^{T}b \), siendo \( \displaystyle A^{T}A \) la matriz de coeficientes asociada al sistema de ecuaciones que escribiste.

Nota que el sistema original, \( \displaystyle A x = b \) tiene solución exacta si y sólo si \( \displaystyle b \in Col(A) \) (el espacio columna de la matriz). Es incompatible, si este vector no está en tal subespacio. Pensemos ahora en que este sistema no tiene solución, pero podemos considerar la solución más próxima posible del mismo. La proyección del vector b sobre el espacio columna de A es la solución más próxima que estamos buscando. La proyección de un vector en un subespacio es única (pues proviene de una función), por lo tanto, el sistema tiene solución única.

Otra forma de verlo, es derivando el producto escalar \( \displaystyle (Ax-b)^{T}\cdot(Ax-b) =  \left\|{Ax-b}\right\|^{2}_{2} \) respecto de x (que es la variable en que estamos interesados) y buscando mínimos. Se llega a la misma expresión de cuadrados mínimos.

Espero haberte ayudado un poco. Saludos :).
\( \displaystyle\vec{\nabla}\times\mathbf{E}+\frac{\partial\mathbf{B}}{\partial t}=\vec{0} \)

23 Octubre, 2011, 09:00 pm
Respuesta #2

Héctor Manuel

  • Lathi
  • Mensajes: 3,701
  • País: mx
  • Karma: +0/-0
  • Sexo: Masculino
Hola.  Más que nada, la pregunta se refiere a ver que el sistema que planteo tiene solución, independientemente de que se trate de mínimos cuadrados.  Es decir, simplemente mostrar que mi sistema tiene solución y es única.

Si logramos mostrar que la matriz asociada al sistema es inyectiva, habremos terminado, ya que por ser cuadrada será biyectiva.  Para ver que es inyectiva, basta con mostrar que su kernel es el trivial.  Sean \( x \) en el kernel de dicha matriz, digamos \( x=(d_0,d_1,\cdots d_n) \), \( q(x)=d_0+d_1x+d_2x^2+\cdots+d_nx^n \), \( P=(q(x_0),q(x_1),\cdots,q(x_M)) \) y \( V=span\{(1,1,\cdots,1),(x_0,x_1,\cdots,x_M),(x_0^2,x_1^2,\cdots,x_M^2),\cdots,(x_0^n,x_1^n,\cdots,x_M^n)\} \).

Es claro que para cualquier elección de los números \( (d_0,d_1,\cdots,d_n) \) se tiene que \( P\in V \).

Pero además:
\( x \) está en el kernel de dicha matriz si y sòlo si

\( \left\{\begin{array}{ccccccccc}d_0\displaystyle\sum_{i=0}^M{x_i^0}&+&d_1\displaystyle\sum_{i=0}^M{x_i^1}&+&\cdots&+&d_n\displaystyle\sum_{i=0}^M{x_i^n}&=&0\\d_0\displaystyle\sum_{i=0}^M{x_i^1}&+&d_1\displaystyle\sum_{i=0}^M{x_i^2}&+&\cdots&+&d_n\displaystyle\sum_{i=0}^M{x_i^{n+1}}&=&0\\\vdots\\d_0\displaystyle\sum_{i=0}^M{x_i^n}&+&d_1\displaystyle\sum_{i=0}^M{x_i^{n+1}}&+&\cdots&+&d_n\displaystyle\sum_{i=0}^M{x_i^{2n}}&=&0\\\end{array} \)

si y sòlo si

\( \left\{\begin{array}{ccccccc}(d_0x_0^0+d_1x_0^1+\cdots+d_nx_0^n)&+&\cdots&+&(d_0x_M^0+d_1x_M^1+\cdots+d_nx_M^n)&=&0\\(d_0x_0^1+d_1x_0^2+\cdots+d_nx_0^{n+1})&+&\cdots&+&(d_0x_M^1+d_1x_M^2+\cdots+d_nx_M^{n+1})&=&0\\\vdots\\(d_0x_0^n+d_1x_0^{n+1}+\cdots+d_nx_0^{2n})&+&\cdots&+&(d_0x_M^n+d_1x_M^{n+1}+\cdots+d_nx_M^{2n})&=&0\end{array} \)

si y sólo si

\( \left\{\begin{array}{ccccccccc}q(x_0)&+&q(x_1)&+&\cdots&+&q(x_M)&=&0\\x_0q(x_0)&+&x_1q(x_1)&+&\cdots&+&x_Mq(x_M)&=&0\\x_0^2q(x_0)&+&x_1^2q(x_1)&+&\cdots&+&x_M^2q(x_M)&=&0\\\vdots\\x_0^nq(x_0)&+&x_1^nq(x_1)&+&\cdots&+&x_M^nq(x_M)&=&0\\\end{array} \)

si y sòlo si

\( \left\{\begin{array}{ccc}\langle (1,1,\cdots,1),(q(x_0),q(x_1),\cdots,q(x_M)\rangle&=&0\\\langle (x_0,x_1,\cdots,x_M),(q(x_0),q(x_1),\cdots,q(x_M)\rangle&=&0\\\langle (x_0^2,x_1^2,\cdots,x_M^2),(q(x_0),q(x_1),\cdots,q(x_M)\rangle&=&0\\\vdots\\ \langle (x_0^n,x_1^n,\cdots,x_M^n),(q(x_0),q(x_1),\cdots,q(x_M)\rangle&=&0\\\end{array} \)

si y sòlo si \( P\in V^\perp \).

Por tanto, si \( x \) està en el kernel de la matriz, entonces \( P\in V\cap V^\perp \), de modo que \( P=\theta \).  Es decir \( q(x_i)=0 \) para todo \( i\in\{0,\cdots,M\} \).  Luego, como \( q \) es un polinomio de grado menor o igual que \( n \), y se anula en \( M+1 \) puntos, con \( M>n \), entonces \( q \) es el polinomio nulo, lo cual nos dice que \( d_i=0 \) para todo \( i\in\{0,\cdots,n\} \), así que \( x \) es el vector nulo, que es lo que se quería demostrar.

Saludos y gracias por la ayuda.