Autor Tema: Extensión Mínimos Cuadrados

0 Usuarios y 1 Visitante están viendo este tema.

24 Septiembre, 2026, 02:07 am
Respuesta #10

delmar

  • Moderador Global
  • Mensajes: 3,993
  • País: pe
  • Karma: +0/-0
  • Sexo: Masculino
En realidad ha habido cierta confusión, particularmente tampoco yo lo había entendido lo que no se da por hecho es que la matriz Hessiana es positiva en otras palabras había que demostrar que es positiva; en ingeniería eso se da por hecho que es positiva; pero ya se ha visto que a veces es singular y eso significa que no siempre es positiva. Entonces la idea es demostrar que cuando es no singular es definida positiva.

Hallando la matriz Hessiana

\( D_{11}E(a,b,c)=2 \ \displaystyle\sum_{ }^{ } {x_i^2} \)

\( D_{21}E(a,b,c)=2 \ \displaystyle\sum_{ }^{ } {x_i \ y_i} \)

\( D_{31}E(a,b,c)=2 \ \displaystyle\sum_{ }^{ } {x_i} \)

\( D_{22}E(a,b,c)=2 \ \displaystyle\sum_{ }^{ } {y_i^2} \)

\( D_{32}E(a,b,c)=2 \ \displaystyle\sum_{ }^{ } {y_i} \)

\( D_{33}E(a,b,c)=2 \ n \)

Las derivadas segundas son campos escalares constantes \( \forall{(a,b,c)\in{R^3}} \) en consecuencia continuos, luego las cruzadas son iguales. La matriz Hessiana es la misma para todos los puntos del espacio y para el estacionario hallado (denominando (a',b',c')) sería :

\( H_E(a',b',c')=\begin{bmatrix}{2 \ \displaystyle\sum_{ }^{ } {x_i^2}}&{2 \ \displaystyle\sum_{ }^{ } {x_i \ y_i}}&{2 \ \displaystyle\sum_{ }^{ } {x_i}}\\{2 \ \displaystyle\sum_{ }^{ } {x_i \ y_i}}&{2 \ \displaystyle\sum_{ }^{ } {y_i^2}}&{2 \ \displaystyle\sum_{ }^{ } {y_i}}\\{2 \ \displaystyle\sum_{ }^{ } {x_i}}&{2 \ \displaystyle\sum_{ }^{ } {y_i}}&{2 \ n}\end{bmatrix} \)


En este punto recordando análisis numérico o recurriendo al IA se tiene la identidad :

\( H_E(a',b',c')=2S^T \ S \) donde :

\( S=\begin{bmatrix}{x_1}&{y_1}&{1}\\{x_2}&{y_2}&{1}\\{:}&{:}&{:}\\{x_n}&{y_n}&{1}\end{bmatrix} \)

Esto se verifica.

La cuadrática correspondiente a Hessiana es :

\( Q(v)=v^T \ H \ v=v^T \ 2 S^T \ S \ v=2 (S \ v)^T \ (S \ v) \)

Esto por propiedades de matrices como la traspuesta del producto de matrices.

\( S \ v= \mu \in{R^n}\Rightarrow{Q(v)=2 \ \mu^T \ \mu=2 ||\mu||^2}\geq{0} \). En el caso que H es no singular, \( \forall{v}\neq O\Rightarrow{Q(v)>0\Leftrightarrow{v\neq O}} \) y eso significa precisamente que H es una matriz definida positiva y sus autovalores son positivos y por ende hay un mínimo relativo; pero por ser las derivadas segundas continuas en todo el espacio es también mínimo global, espero sus comentarios o sugerencias.

Saludos






24 Septiembre, 2026, 09:26 am
Respuesta #11

Luis Fuentes

  • el_manco
  • Administrador
  • Mensajes: 58,907
  • País: es
  • Karma: +0/-0
Hola

En realidad ha habido cierta confusión, particularmente tampoco yo lo había entendido lo que no se da por hecho es que la matriz Hessiana es positiva en otras palabras había que demostrar que es positiva; en ingeniería eso se da por hecho que es positiva; pero ya se ha visto que a veces es singular y eso significa que no siempre es positiva. Entonces la idea es demostrar que cuando es no singular es definida positiva.

Hallando la matriz Hessiana

\( D_{11}E(a,b,c)=2 \ \displaystyle\sum_{ }^{ } {x_i^2} \)

\( D_{21}E(a,b,c)=2 \ \displaystyle\sum_{ }^{ } {x_i \ y_i} \)

\( D_{31}E(a,b,c)=2 \ \displaystyle\sum_{ }^{ } {x_i} \)

\( D_{22}E(a,b,c)=2 \ \displaystyle\sum_{ }^{ } {y_i^2} \)

\( D_{32}E(a,b,c)=2 \ \displaystyle\sum_{ }^{ } {y_i} \)

\( D_{33}E(a,b,c)=2 \ n \)

Las derivadas segundas son campos escalares constantes \( \forall{(a,b,c)\in{R^3}} \) en consecuencia continuos, luego las cruzadas son iguales. La matriz Hessiana es la misma para todos los puntos del espacio y para el estacionario hallado (denominando (a',b',c')) sería :

\( H_E(a',b',c')=\begin{bmatrix}{2 \ \displaystyle\sum_{ }^{ } {x_i^2}}&{2 \ \displaystyle\sum_{ }^{ } {x_i \ y_i}}&{2 \ \displaystyle\sum_{ }^{ } {x_i}}\\{2 \ \displaystyle\sum_{ }^{ } {x_i \ y_i}}&{2 \ \displaystyle\sum_{ }^{ } {y_i^2}}&{2 \ \displaystyle\sum_{ }^{ } {y_i}}\\{2 \ \displaystyle\sum_{ }^{ } {x_i}}&{2 \ \displaystyle\sum_{ }^{ } {y_i}}&{2 \ n}\end{bmatrix} \)


En este punto recordando análisis numérico o recurriendo al IA se tiene la identidad :

\( H_E(a',b',c')=2S^T \ S \) donde :

\( S=\begin{bmatrix}{x_1}&{y_1}&{1}\\{x_2}&{y_2}&{1}\\{:}&{:}&{:}\\{x_n}&{y_n}&{1}\end{bmatrix} \)

Esto se verifica.

La cuadrática correspondiente a Hessiana es :

\( Q(v)=v^T \ H \ v=v^T \ 2 S^T \ S \ v=2 (S \ v)^T \ (S \ v) \)

Esto por propiedades de matrices como la traspuesta del producto de matrices.

\( S \ v= \mu \in{R^n}\Rightarrow{Q(v)=2 \ \mu^T \ \mu=2 ||\mu||^2}\geq{0} \). En el caso que H es no singular, \( \forall{v}\neq O\Rightarrow{Q(v)>0\Leftrightarrow{v\neq O}} \) y eso significa precisamente que H es una matriz definida positiva y sus autovalores son positivos y por ende hay un mínimo relativo; pero por ser las derivadas segundas continuas en todo el espacio es también mínimo global, espero sus comentarios o sugerencias.

Está bien. No había entendido que estuviese ahí el problema,

Otra forma de verlo es, centrando las variables \( x_i,y_i \), se puede suponer que tienen media cero y la matriz queda:

\( H=\begin{bmatrix}{\ \displaystyle\sum_{ }^{ } {x_i^2}}&{\ \displaystyle\sum_{ }^{ } {x_i \ y_i}}&{0}\\{ \ \displaystyle\sum_{ }^{ } {x_i \ y_i}}&{ \ \displaystyle\sum_{ }^{ } {y_i^2}}&{ 0}\\{0}&{0}&{\ n}\end{bmatrix} \)

Por el criterio de Sylvester,



 es definida positiva si los vectores \( \vec x \) y \( \vec y \) y no son colineales ya que los determinantes a analizar son:

\( |x_i^2|>0 \)

\( \left|\begin{matrix}{\ \displaystyle\sum_{ }^{ } {x_i^2}}&{\ \displaystyle\sum_{ }^{ } {x_i \ y_i}}\\{ \ \displaystyle\sum_{ }^{ } {x_i \ y_i}}&{ \ \displaystyle\sum_{ }^{ } {y_i^2}}\end{matrix}\right|=\|\vec x\|^2\|\vec y\|^2-(\color{red}\vec x\cdot \vec y\color{black}))^2>0 \) por la desigualdad de Cauchy-Schwartz

\( |H|=n\cdot (\|\vec x\|^2\|\vec y\|^2-(\color{red}\vec x\cdot \vec y\color{black})^2)>0 \) por el mismo motivo.

Saludos.

CORREGIDO

25 Septiembre, 2026, 02:04 am
Respuesta #12

delmar

  • Moderador Global
  • Mensajes: 3,993
  • País: pe
  • Karma: +0/-0
  • Sexo: Masculino
Muchas gracias Luis Fuentes es una manera y en efecto el signo positivo en Cauchy Scharz es cuando los vectores x e y no son linealmente independientes.

Saludos

25 Septiembre, 2026, 08:37 am
Respuesta #13

ani_pascual

  • $$\Large \color{#9c57a6}\pi\,\pi\,\pi\,\pi\,\pi\,\pi$$
  • Mensajes: 4,223
  • País: es
  • Karma: +0/-0
  • Sexo: Masculino
  • שמע ישראל יהוה אלהינו יהוה אחד
    • Kepler_Ck
Hola:

...
\( |H|=n\cdot (\|\vec x\|^2\|\vec y\|^2-(\vec x_{\textcolor{red}{i}}\cdot \vec y_{\textcolor{red}{i}})^2)>0 \) por el mismo motivo.
...
Me parece que hay una errata. ¿No sobran los subíndices?

\( |H|=n (\|\bar{x}\|^2\|\bar{y}\|^2-(\bar{x}\cdot\bar{y})^2) \)
Saludos