Autor Tema: Extensión Mínimos Cuadrados

0 Usuarios y 1 Visitante están viendo este tema.

15 Septiembre, 2026, 03:58 am
Leído 649 veces

delmar

  • Moderador Global
  • Mensajes: 3,993
  • País: pe
  • Karma: +0/-0
  • Sexo: Masculino
Hola, estimado foro

Acá con un problema, que en el libro ponen respuestas  distintas (podrían ser equivalentes; pero requiere demostración) y hay cierta argumentación, que me gustaría comenten.

Determinar la función \( f(x,y)=ax+by+c \) que minimize el error cuadrático total \( E(a,b,c)=\displaystyle\sum_{i=1}^n{(f(x_i,y_i)-z_i)^2} \) donde \( (x_i,y_i) \ \ \ i=1,2,..,n \) son n puntos distintos y \( z_i \ \ \ i=1,2,..,n \) son n números reales dados.

Es evidente que \( (x_i,y_i,z_i) \ \ \ i=1,2,..n \) constituyen  n puntos dados del espacio y se trata de encontrar el plano que tiene el menor error cuadrático; es decir hay que hallar \( (a',b',c') \) tal que  E(a',b',c') constituya el mínimo absoluto de E(a,b,c). Solo como comentario esto sirve para determinar las superficies termodinámicas de las sustancias a partir de datos empíricos.

SOLUCION

E se puede poner como \( E(a,b,c)=\displaystyle\sum_{i=1}^n{(ax_i+by_i+c-z_i)^2} \)

Es un campo continuo, hallando las derivadas parciales :

\( D_1E(a,b,c)=\displaystyle\sum_{i=1}^n{2(ax_i+by_i+c-z_i)x_i} \)

\( D_2E(a,b,c)=\displaystyle\sum_{i=1}^n{2(ax_i+by_i+c-z_i)y_i} \)

\( D_3E(a,b,c)=\displaystyle\sum_{i=1}^n{2(ax_i+by_i+c-z_i)} \)

Las derivadas son continuas entonces E(a,b,c) es diferenciable en \( R^3 \)

¿Puntos estacionarios? Se ha de cumplir que las derivadas parciales han de ser cero

\( \displaystyle\sum_{i=1}^n{(ax_i+by_i+c-z_i)x_i}=0\Rightarrow{a \ \displaystyle\sum_{ }^{} {x_i^2}+b \ \displaystyle\sum_{ }^{}{x_i \ y_i}+c \displaystyle\sum_{ }^{}{x_i }=\displaystyle\sum_{ }^{}{x_i \ z_i} } \)

\( \displaystyle\sum_{i=1}^n{(ax_i+by_i+c-z_i)y_i}=0\Rightarrow{a \ \displaystyle\sum_{ }^{} {x_i \ y_i}+b \ \displaystyle\sum_{ }^{}{y_i^2}+c \displaystyle\sum_{ }^{}{y_i }=\displaystyle\sum_{ }^{}{y_i \ z_i} } \)


\( \displaystyle\sum_{i=1}^n{(ax_i+by_i+c-z_i)=0}\Rightarrow{a \ \displaystyle\sum_{ }^{} {x_i}+b \ \displaystyle\sum_{ }^{}{ y_i}+c n=\displaystyle\sum_{ }^{}{z_i} } \)

Es un sistema de 3 ecuaciones lineales se puede resolver con la regla de Cramer, y se obtiene :

\( a=\displaystyle\frac{det \ \begin{bmatrix}{\displaystyle\sum_{ }^{}{x_i \ z_i} }&{\displaystyle\sum_{ }^{}{x_i \ y_i} }&{\displaystyle\sum_{ }^{}{x_i } }\\{\displaystyle\sum_{ }^{}{y_i \ z_i} }&{\displaystyle\sum_{ }^{}{y_i^2} }&{\displaystyle\sum_{ }^{}{y_i} }\\{\displaystyle\sum_{ }^{}{z_i} }&{\displaystyle\sum_{ }^{}{y_i } }&{n}\end{bmatrix}}{det \ \begin{bmatrix}{\displaystyle\sum_{ }^{}{x_i^2 } }&{\displaystyle\sum_{ }^{}{x_i \ y_i} }&{\displaystyle\sum_{ }^{}{x_i } }\\{\displaystyle\sum_{ }^{}{x_i \ y_i} }&{\displaystyle\sum_{ }^{}{y_i^2} }&{\displaystyle\sum_{ }^{}{y_i} }\\{\displaystyle\sum_{ }^{}{x_i} }&{\displaystyle\sum_{ }^{}{y_i } }&{n}\end{bmatrix}} \)

De manera semejante se obtienen b y c; pero solo tiene sentido si la matriz del denominador (M) tiene determinante distinto de cero ¿M es siempre no singular es decir su determinante siempre es distinto de cero? Espero sus comentarios daré también el mío; obviamente aún respondiendo la interrogante, el problema no esta resuelto; se ha de demostrar que el punto estacionario es un mínimo absoluto, lo desarrollaré; pero me interesa comentarios sobre  la interrogante formulada. Gracias de antemano.

Saludos

15 Septiembre, 2026, 04:31 am
Respuesta #1

Richard R Richard

  • Ingeniero Industrial
  • $$\Large \color{#9c57a6}\pi\,\pi\,\pi\,\pi\,\pi\,\pi$$
  • Mensajes: 4,064
  • País: ar
  • Karma: +2/-0
  • Sexo: Masculino
  • Dentro de la ciencia todo,fuera de la ciencia nada
¿M es siempre no singular es decir su determinante siempre es distinto de cero?


Hola delmar, espero no desviar  tu atención principal pero M "depende de los datos"... tu dices " n puntos distintos" lo que hace  parecer que no fuera posible, pero  si todos fueran iguales, es decir por ejemplo $$x_i=y_i=1$$ entonces dos filas de M son iguales y su determinante nulo. Osea contraejemplo trivial hay , ahora bien, nada impide elegir los datos para que ese determinante sea nulo. Pero tampoco habría dudas sobre cual es el plano que contiene el único punto .


Igualmente basta elegir puntos que estén todos sobre una misma recta, porque entonces las columnas de la matriz son linealmente dependientes y el determinante se anula. 
Saludos  \(\mathbb {R}^3\)

15 Septiembre, 2026, 08:31 am
Respuesta #2

ani_pascual

  • $$\Large \color{#9c57a6}\pi\,\pi\,\pi\,\pi\,\pi\,\pi$$
  • Mensajes: 4,223
  • País: es
  • Karma: +0/-0
  • Sexo: Masculino
  • שמע ישראל יהוה אלהינו יהוה אחד
    • Kepler_Ck
Hola:
...
¿M es siempre no singular es decir su determinante siempre es distinto de cero?
Espero sus comentarios daré también el mío; obviamente aún respondiendo la interrogante, el problema no esta resuelto; se ha de demostrar que el punto estacionario es un mínimo absoluto, lo desarrollaré; pero me interesa comentarios sobre  la interrogante formulada. Gracias de antemano.






Si no me he equivocado... el valor del determinante es \( M=\textcolor{red}{n^3}(σ_x^2σ_y^2-\textcolor{red}{σ_{xy}^2}) \), y en función de los datos podría o no ser nulo, tal y como ha comentado Richard R Richard .
Añadido
\( M=0\Longleftrightarrow \sigma_x^2\sigma_y^2=\sigma_{xy}^2\Longleftrightarrow \dfrac{\sigma_{xy}}{\sigma_x\sigma_y}=\rho =\pm 1 \), lo cual equivale a que los puntos \( (x_i,y_i) \) están en una recta. En este caso el plano que contiene a los puntos del espacio \( (x_i,y_i,z_i) \)  es perpendicular al plano coordenado \( XY (z=0) \).
Análogamente sucede en una dimensión menos.
En ese caso es \( M=n^2\sigma_x^2 \), que se anula cuando \( \sigma_x=0 \) lo cual equivale a que todos los puntos están en una recta vertical paralela al eje \( OY (x=0) \) de ecuación \( x=\bar{x} \).
Saludos

15 Septiembre, 2026, 12:42 pm
Respuesta #3

Richard R Richard

  • Ingeniero Industrial
  • $$\Large \color{#9c57a6}\pi\,\pi\,\pi\,\pi\,\pi\,\pi$$
  • Mensajes: 4,064
  • País: ar
  • Karma: +2/-0
  • Sexo: Masculino
  • Dentro de la ciencia todo,fuera de la ciencia nada
Creo faltaría  una condición  de mínima para el problema y es que el conjunto de datos tenga $$n>3$$, pues siempre se consigue un plano que pase por 3 puntos, y ese plano minimiza el error a cero.


Y por otro lado si todos los datos $$(x,y)$$ pertenecen a una recta existe un plano que contiene  a la recta y a todos los $$(x_i,y_i,z_i)$$ cuyo error es  cero.
Entonces habiendo  al menos 4 puntos $$(x_i,y_i,z_i)$$ no coplanares entonces ya $$M$$ es distinto de cero y tienes solución.

Saludos  \(\mathbb {R}^3\)

16 Septiembre, 2026, 03:49 am
Respuesta #4

delmar

  • Moderador Global
  • Mensajes: 3,993
  • País: pe
  • Karma: +0/-0
  • Sexo: Masculino
Muchas gracias Richard R Richard y ani_pascual en efecto la matriz M puede ser singular, por ejemplo cuando los puntos \( (x_i,y_i) \) forman parte de una recta y preciso que para que tenga sentido el problema n>3. Continuare con desarrollo mañana.

Saludos

18 Septiembre, 2026, 03:10 am
Respuesta #5

delmar

  • Moderador Global
  • Mensajes: 3,993
  • País: pe
  • Karma: +0/-0
  • Sexo: Masculino
Disculpen por la tardanza estoy con ocupaciones; pero es conveniente manifestar que, son las superficies termodinámicas correspondientes a dos fases, por ejemplo liquido-vapor de agua, las que constituyen planos, que pueden determinarse (menor error cuadrático) a partir de datos experimentales, dos de estas variables las ajusta en investigador (por ejemplo temperatura \( x_i \) y volumen específico \( y_i \))  y la otra ya es una respuesta objetiva de la sustancia, por ejemplo la calidad de la mezcla \( z_i \). Las dos primeras las selecciona el investigador y se ve con los aportes que la selección de los x e y no es completamente aleatoria, tanto por la cantidad n>3, y también por el hecho que no han de estar en una recta. Ya continuare con el desarrollo, que no lo veo muy sencillo en rigor.

Avanzando el error desarrollando se puede poner :

\( E(a,b,c)=a^2\ \displaystyle\sum_{ }^{ } {x_i^2}+b^2 \ \displaystyle\sum_{ }^{ } {y_i^2}+2ab \displaystyle\sum_{ }^{ } {x_i \ y_i}+2ac \displaystyle\sum_{ }^{ } {x_i}+2cb \displaystyle\sum_{ }^{ } {y_i}+nc^2+ \displaystyle\sum_{ }^{ } {z_i^2}-2a \displaystyle\sum_{ }^{ } {z_i x_i}-2b\displaystyle\sum_{ }^{ } {y_i z_i}-2c \displaystyle\sum_{ }^{ } {z_i} \)


Se observa que los coeficientes de \( a^2,b^2,c^2 \) son positivos dando la idea de transformar en una suma cuadrados de binomios, continuare.

Saludos

18 Septiembre, 2026, 04:43 am
Respuesta #6

Richard R Richard

  • Ingeniero Industrial
  • $$\Large \color{#9c57a6}\pi\,\pi\,\pi\,\pi\,\pi\,\pi$$
  • Mensajes: 4,064
  • País: ar
  • Karma: +2/-0
  • Sexo: Masculino
  • Dentro de la ciencia todo,fuera de la ciencia nada
Hola, a ver si entendí,  para cada par $$(x,y)$$ , o sea $$(t,v_e)$$, tienes un valor medido de calidad, si lo representadas tendrías una superficie, pero te propones buscar de aproximar la superficie con el menor error posible a un plano, por ajuste cuadratico, donde $$(a,b,c)$$ son los parámetros  del plano.


Si es así entonces $$M$$ resulta distinto de cero, pues si como ya supongo el conjunto  de mediciones son más de tres datos y que se exploran las posibilidades de ver como evoluciona teniendo  una variable constante y la otra propiamente variando, así  la posibilidad de que todos los datos $$(x,y)$$ tengan una relación lineal es bastante improbable.
Saludos  \(\mathbb {R}^3\)

18 Septiembre, 2026, 12:16 pm
Respuesta #7

Luis Fuentes

  • el_manco
  • Administrador
  • Mensajes: 58,907
  • País: es
  • Karma: +0/-0
Hola

Disculpen por la tardanza estoy con ocupaciones; pero es conveniente manifestar que, son las superficies termodinámicas correspondientes a dos fases, por ejemplo liquido-vapor de agua, las que constituyen planos, que pueden determinarse (menor error cuadrático) a partir de datos experimentales, dos de estas variables las ajusta en investigador (por ejemplo temperatura \( x_i \) y volumen específico \( y_i \))  y la otra ya es una respuesta objetiva de la sustancia, por ejemplo la calidad de la mezcla \( z_i \). Las dos primeras las selecciona el investigador y se ve con los aportes que la selección de los x e y no es completamente aleatoria, tanto por la cantidad n>3, y también por el hecho que no han de estar en una recta. Ya continuare con el desarrollo, que no lo veo muy sencillo en rigor.

Avanzando el error desarrollando se puede poner :

\( E(a,b,c)=a^2\ \displaystyle\sum_{ }^{ } {x_i^2}+b^2 \ \displaystyle\sum_{ }^{ } {y_i^2}+2ab \displaystyle\sum_{ }^{ } {x_i \ y_i}+2ac \displaystyle\sum_{ }^{ } {x_i}+2cb \displaystyle\sum_{ }^{ } {y_i}+nc^2+ \displaystyle\sum_{ }^{ } {z_i^2}-2a \displaystyle\sum_{ }^{ } {z_i x_i}-2b\displaystyle\sum_{ }^{ } {y_i z_i}-2c \displaystyle\sum_{ }^{ } {z_i} \)


Se observa que los coeficientes de \( a^2,b^2,c^2 \) son positivos dando la idea de transformar en una suma cuadrados de binomios, continuare.

Pero, ¿qué es lo que te falta?. En el primer mensaje ya calculaste los valores que minimizan.

Es mínimo (y global) porque la función es convexa en todo punto ya que su Hessiano (para puntos no colineales) es definido positivo.

Saludos.

P.D. Si se quieren hacer las cuentas ligeramente más fáciles se puede centrar el problema en el origen, es decir, supones que la media de los valores \( x_i,y_i \) es cero (sin más que un cambio de variable con desplazamiento).

20 Septiembre, 2026, 03:46 am
Respuesta #8

delmar

  • Moderador Global
  • Mensajes: 3,993
  • País: pe
  • Karma: +0/-0
  • Sexo: Masculino
Hola

Disculpen por la tardanza estoy con ocupaciones; pero es conveniente manifestar que, son las superficies termodinámicas correspondientes a dos fases, por ejemplo liquido-vapor de agua, las que constituyen planos, que pueden determinarse (menor error cuadrático) a partir de datos experimentales, dos de estas variables las ajusta en investigador (por ejemplo temperatura \( x_i \) y volumen específico \( y_i \))  y la otra ya es una respuesta objetiva de la sustancia, por ejemplo la calidad de la mezcla \( z_i \). Las dos primeras las selecciona el investigador y se ve con los aportes que la selección de los x e y no es completamente aleatoria, tanto por la cantidad n>3, y también por el hecho que no han de estar en una recta. Ya continuare con el desarrollo, que no lo veo muy sencillo en rigor.

Avanzando el error desarrollando se puede poner :

\( E(a,b,c)=a^2\ \displaystyle\sum_{ }^{ } {x_i^2}+b^2 \ \displaystyle\sum_{ }^{ } {y_i^2}+2ab \displaystyle\sum_{ }^{ } {x_i \ y_i}+2ac \displaystyle\sum_{ }^{ } {x_i}+2cb \displaystyle\sum_{ }^{ } {y_i}+nc^2+ \displaystyle\sum_{ }^{ } {z_i^2}-2a \displaystyle\sum_{ }^{ } {z_i x_i}-2b\displaystyle\sum_{ }^{ } {y_i z_i}-2c \displaystyle\sum_{ }^{ } {z_i} \)


Se observa que los coeficientes de \( a^2,b^2,c^2 \) son positivos dando la idea de transformar en una suma cuadrados de binomios, continuare.

Pero, ¿qué es lo que te falta?. En el primer mensaje ya calculaste los valores que minimizan.

Es mínimo (y global) porque la función es convexa en todo punto ya que su Hessiano (para puntos no colineales) es definido positivo.

Saludos.

P.D. Si se quieren hacer las cuentas ligeramente más fáciles se puede centrar el problema en el origen, es decir, supones que la media de los valores \( x_i,y_i \) es cero (sin más que un cambio de variable con desplazamiento).

Luis Fuentes el problema esta en que todavía no se puede usar el concepto de matriz definida positiva, lo que he hallado es un punto estacionario de un campo continuo y diferenciable en todo \( R^2 \), la matriz Hessiana se puede obtener; pero incluso hallando sus autovalores solo puedo concluir que es un mínimo relativo. Tengo una idea con lo que se puede usar (todo campo en un dominio cerrado tiene mínimo y máximo), voy a ver si lo concluyo.

Saludos

21 Septiembre, 2026, 10:20 am
Respuesta #9

Luis Fuentes

  • el_manco
  • Administrador
  • Mensajes: 58,907
  • País: es
  • Karma: +0/-0
Hola

Luis Fuentes el problema esta en que todavía no se puede usar el concepto de matriz definida positiva, lo que he hallado es un punto estacionario de un campo continuo y diferenciable en todo \( R^2 \), la matriz Hessiana se puede obtener; pero incluso hallando sus autovalores solo puedo concluir que es un mínimo relativo. Tengo una idea con lo que se puede usar (todo campo en un dominio cerrado tiene mínimo y máximo), voy a ver si lo concluyo.

Me cuesta dar una respuesta más adecuada porque no estoy seguro de que puede o no puedes usar. En el fondo es incongruente que puedas usar que es un mínimo local, pero no el Hessiano ni el concepto de matriz definida positiva; porque para probar que es un mínimo local se está usando ambas cosas. De hecho cuando uno justifica que es un mínimo local, utiliza la aproximación de orden dos por un polinomio de Taylor de la función en un entorno del punto. Pero es que en este caso la función ya es un polinomio de grado dos, así que la
demostración de que es un mínimo local es en realidad un mínimo global.

De manera explícita si tienes una función cuadrática en varias variables:

\( f(x)=x^tAx-2b^tx \)

donde \( x,b\in \Bbb R^n \) y \( A \) simétrica no singular, tomando \( x_0 \) tal que \( Ax_0=b \) y \( x=x_0+e \):

\( f(x_0+e)=(x+e)^tA(x+e)-2b^t(x+e)=\ldots =f(x_0)+e^tAe \)

y entonces para que \( x_0 \) sea el mínimo global basta que \( e^tAe \) sea siempre no negativo. Eso equivale a que \( A \) sea definida positiva.

Saludos.