Autor Tema: Regresión

0 Usuarios y 1 Visitante están viendo este tema.

22 Marzo, 2012, 07:51 pm
Leído 1183 veces

Gaussa

  • $$\Large \color{#5b61b3}\pi\,\pi\,\pi\,\pi\,\pi$$
  • Mensajes: 1,551
  • Karma: +1/-0
  • Sexo: Femenino
Hola.

Tengo el siguiente ejercicio.

1) Dados los siguientes pares de observaciones: (1,-1); (1,0);, (2,1); (2,2); (3,3); (3,2); (4,3); (5,4). Represéntalos en un diagrama de dispersión. Representa también las rectas \( y=1,214229+1,15714 x \), \( y=x \) e \( y=x-1 \)

Bien, esto es sencillo.

2) Si tuvieras que elegir una de las tres rectas para explicar la estructura de dependencia de Y en términos de X, ¿cuál elegirías? ¿Cuál es el criterio de elección? ¿Podría existir otra recta que mejorase a las dadas?

Está claro que la mejor es \( y=1,214229+1,15714 x \), puesto que las otras dos sólo tienen en cuenta una serie de puntos por los que pasa, mientras que ésta se sitúa entre los puntos que nos dan. Supongo que podría existir otra recta mejor a las dadas. Mmm... dudo que me esté expresando bien.

3) Realiza una propuesta formal de dicho criterio para que al aplicarse a la recta genérica \( y=a+bx \) se obtenga la que has elegido en el apartado anterior.

Ni idea, no se me ocurre nada

4) Realiza una propuesta sobre una medida que indique como de buena es la recta para representar la dependencia entre las variables, en concreto de Y en función de X.

Me parece muy parecida a la pregunta anterior. Lo único que se me ocurre es que la distancia de la recta a los puntos debería ser mínima, por lo que habría que minimizar la función y usar derivadas. No sé si es correcto esto (y de serlo, tampoco cómo hacerlo)

5) Cambiarías de recta si tuvieras que expresar la dependencia de X en función de Y.

Supongo que no, pero tampoco sé muy bien qué me están preguntando.

No he dado nada de regresión ni viene nada en mis apuntes, pero nos han puesto estos ejercicios y ando perdida.

Saludos y muchas gracias

23 Marzo, 2012, 09:16 am
Respuesta #1

Luis Fuentes

  • el_manco
  • Administrador
  • Mensajes: 58,907
  • País: es
  • Karma: +0/-0
Hola

 La idea que responde a casi todas tus preguntas, es usar como medida de la bondad del ajuste de una función a unos datos, el error cuadrático, es decir si aproximamos los datos \( \{(x_i,y_i)\}_{i=1}^n \) por \( y=f(x) \), considerar como medida del error:

\( \displaystyle\sum_{i=1}^n{}(f(x_i)-y_i)^2 \)

Saludos.

23 Marzo, 2012, 01:59 pm
Respuesta #2

pierrot

  • pabloN
  • Moderador Global
  • Mensajes: 3,447
  • País: uy
  • Karma: +0/-0
  • Sexo: Masculino
Hola Gaussa

4) Realiza una propuesta sobre una medida que indique como de buena es la recta para representar la dependencia entre las variables, en concreto de Y en función de X.

Me parece muy parecida a la pregunta anterior. Lo único que se me ocurre es que la distancia de la recta a los puntos debería ser mínima, por lo que habría que minimizar la función y usar derivadas. No sé si es correcto esto (y de serlo, tampoco cómo hacerlo)

Está perfecto lo que dices. Fijate que la medida del error que te sugirió el_manco que usaras es:

\( \displaystyle\sum_{i=1}^n{}(f(x_i)-y_i)^2 \)

Esa sería nuestra función a minimizar. ¿Pero de qué depende? Bueno, depende de los parámetros que tengamos en esa función \( f \). Si \( f \) es una recta de la forma \( f(x)=a+bx \) como sugieren en tu ejercicio, nosotros lo que podemos "cambiar" para que la función se ajuste mejor a los datos son \( a \) y \( b \), o sea, nuestros parámetos. Por lo tanto, nuestra función a minimizar sería \( e:\mathbb{R}^2\rightarrow{}\mathbb{R_+} \) tal que:

\( e(a,b)=\displaystyle\sum_{i=1}^n(a+bx_i-y_i)^2 \)

Observa que lo único que hice fue sustituir \( f(x_i) \) por su valor \( a+bx_i \). ¿Cómo minimizamos esta función? Simplemente hallamos sus derivadas parciales. Estas son:

\( \displaystyle \frac{{\partial e}}{{\partial a}}(a,b)=\sum_{i=1}^n2(a+bx_i-y_i) \)
\( \displaystyle \frac{{\partial e}}{{\partial b}}(a,b)=\displaystyle\sum_{i=1}^n2x_i(a+bx_i-y_i) \)

Ahora corrobora (usando el criterio del Hessiano) que el vector \( (a,b) \) que cumple

\( (S)\begin{Bmatrix}\displaystyle \sum_{i=1}^n2(a+bx_i-y_i)=0 \\ \displaystyle \sum_{i=1}^n2x_i(a+bx_i-y_i)=0\end{matrix}  \)

es efectivamente un mínimo relativo. Fijate que aparece un \( 2 \) ahí pero que no afecta en nada a la solución del sistema. Las ecuaciones anteriores se llaman ecuaciones normales. Si llamas

\( x=\left[{\begin{array}{ccc}{a}\\{b}\end{array}\right]\qquad A=\begin{bmatrix}{1}&{x_1}\\{1}&{x_2}\\{\vdots}&{\vdots}\\{1}&{x_n} \end{bmatrix}\qquad b=\left[{\begin{array}{ccc}{y_1}\\{y_2}\\{\vdots}\\{y_n}\end{array}\right] \)

el sistema \( (S) \) puede escribirse de forma compacta como \( A^tAx=A^tb \). En efecto:

\( {A^tA=\begin{bmatrix}{1}&{1}&{1}&{\hdots}&{1}\\{x_1}&{x_2}&{x_3}&{\hdots}&{x_n}\end{bmatrix}\cdot \begin{bmatrix}{1}&{x_1}\\{1}&{x_2}\\{\vdots}&{\vdots}\\{1}&{x_n} \end{bmatrix}=\begin{bmatrix}{n}&{\displaystyle\sum_{i=1}^n x_i}\\{\displaystyle \sum_{i=1}^n x_i}&{\displaystyle \sum_{i=1}^n x_i^2}\end{bmatrix}\qquad A^tb=\begin{bmatrix}{1}&{1}&{1}&{\hdots}&{1}\\{x_1}&{x_2}&{x_3}&{\hdots}&{x_n}\end{bmatrix}\cdot \left[{\begin{array}{ccc}{y_1}\\{y_2}\\{\vdots}\\{y_n}\end{array}\right]=\left[{\begin{array}{ccc}{\displaystyle \sum_{i=1}^ny_i}\\{\displaystyle \sum_{i=1}^nx_iy_i}\end{array}\right]} \)

Por lo tanto, la ecuación \( A^tAx=A^tb \) es:

\( \begin{bmatrix}{na+\displaystyle b\sum_{i=1}^n x_i}\\{\displaystyle a\sum_{i=1}^n x_i+\displaystyle b\sum_{i=1}^n x_i^2}\end{bmatrix}=\left[{\begin{array}{ccc}{\displaystyle \sum_{i=1}^ny_i}\\{\displaystyle \sum_{i=1}^nx_iy_i}\end{array}\right] \)

que son exactamente las mismas a las que habíamos llegado derivando. Las ecuaciones normales también se pueden deducir por medio de un criterio geométrico (sin recurrir al cálculo en varias variables).

Saludos
$_="loe  hnachaPkr erttes,urJ";$j=0;for($i=0;s/(.)(.{$j})$//;$i++){$_=$2.$_,$j+=1-$i%2,print$1}print

25 Marzo, 2012, 04:36 pm
Respuesta #3

Gaussa

  • $$\Large \color{#5b61b3}\pi\,\pi\,\pi\,\pi\,\pi$$
  • Mensajes: 1,551
  • Karma: +1/-0
  • Sexo: Femenino
Hola.

Muchas gracias, ahora lo entiendo.

Tengo otra pregunta.

\( (S)\begin{Bmatrix}\displaystyle \sum_{i=1}^n2(a+bx_i-y_i)=0 \\ \displaystyle \sum_{i=1}^n2x_i(a+bx_i-y_i)=0\end{matrix}  \)

Entiendo la forma en que lo ha resuelto PabloN, pero, ¿podría resolverse como un sistema de ecuaciones para poder calcular los valores de \( a \) y \( b \)? Lo he intentado y sólo llego al calcular \( a \) (sale directamente)

Saludos.

25 Marzo, 2012, 05:55 pm
Respuesta #4

pierrot

  • pabloN
  • Moderador Global
  • Mensajes: 3,447
  • País: uy
  • Karma: +0/-0
  • Sexo: Masculino
Hola

\( (S)\begin{Bmatrix}\displaystyle \sum_{i=1}^n2(a+bx_i-y_i)=0 \\ \displaystyle \sum_{i=1}^n2x_i(a+bx_i-y_i)=0\end{matrix}  \)

Entiendo la forma en que lo ha resuelto PabloN, pero, ¿podría resolverse como un sistema de ecuaciones para poder calcular los valores de \( a \) y \( b \)? Lo he intentado y sólo llego al calcular \( a \) (sale directamente)

Claro que sí. Es que es un sistema lineal de ecuaciones de \( 2\times 2 \), donde nuestras incógnitas son \( a \) y \( b \). Se podría despejar \( a \) de una ecuación y sustituir en la otra, sin embargo creo que es un poco engorroso. Yo lo resolvería así.

El 2 no afecta en nada, así que lo puedo sacar. Si aplicamos propiedades de las sumatorias nos queda:

\( \begin{Bmatrix}\displaystyle n\cdot a+\Big(\sum_{i=1}^nx_i\Big)\cdot b=\sum_{i=1}^n y_i \\ \displaystyle \Big(\sum_{i=1}^nx_i\Big)\cdot a+\Big(\sum_{i=1}^nx_i^2\Big)\cdot b=\sum_{i=1}^nx_iy_i\end{matrix}  \)

Si se llama:

\( \begin{bmatrix}{c_{11}}&{c_{12}}\\{c_{21}}&{c_{22}}\end{bmatrix}=\begin{bmatrix}{n}&{\sum_{i=1}^nx_i}\\{\sum_{i=1}^ nx_i }&{\sum_{i=1}^nx_i^2}\end{bmatrix}\quad \Big\| \quad \left[{\begin{array}{ccc}{d_1}\\{d_2}\end{array}\right]=\left[{\begin{array}{ccc}{\sum_{i=1}^n y_i}\\{\sum_{i=1}^nx_iy_i}\end{array}\right] \)

las ecuaciones en forma matricial nos quedan:

\( \begin{bmatrix}{c_{11}}&{c_{12}}\\{c_{21}}&{c_{22}}\end{bmatrix}\cdot \left[{\begin{array}{ccc}{a}\\{b}\end{array}\right]=\left[{\begin{array}{ccc}{d_1}\\{d_2}\end{array}\right]\Longrightarrow{}\left[{\begin{array}{ccc}{a}\\{b}\end{array}\right]=\begin{bmatrix}{c_{11}}&{c_{12}}\\{c_{21}}&{c_{22}}\end{bmatrix}^{-1}\cdot\left[{\begin{array}{ccc}{d_1}\\{d_2}\end{array}\right] \)

donde \( \begin{bmatrix}{c_{11}}&{c_{12}}\\{c_{21}}&{c_{22}}\end{bmatrix}^{-1}=\displaystyle \frac{1}{c_{11}c_{22}-c_{12}c_{21}}\begin{bmatrix}{c_{22}}&{-c_{12}}\\{-c_{21}}&{c_{11}}\end{bmatrix} \)

Sustituyendo y haciendo las operaciones se llegan a los valores de \( a \) y \( b \). Sale:

\( a=\displaystyle \frac{\displaystyle \sum_{i=1}^n y_i \cdot \sum_{i=1}^n x_i^2-\sum_{i=1}^n x_i\cdot \sum_{i=1}^n x_iy_i}{\displaystyle n\sum_{i=1}^n x_i^2-\Big(\sum_{i=1}^n x_i\Big)^2} \)

\( b=\displaystyle \frac{\displaystyle n\sum_{i=1}^n x_iy_i-\sum_{i=1}^n y_i \cdot \sum_{i=1}^n x_i}{\displaystyle n\sum_{i=1}^n x_i^2-\Big(\sum_{i=1}^n x_i\Big)^2} \)


Saludos

PD. Observa que la matriz \( C=(c_{ij}) \) es \( A^tA \) y \( d=A^tb \).
$_="loe  hnachaPkr erttes,urJ";$j=0;for($i=0;s/(.)(.{$j})$//;$i++){$_=$2.$_,$j+=1-$i%2,print$1}print

25 Marzo, 2012, 06:09 pm
Respuesta #5

Gaussa

  • $$\Large \color{#5b61b3}\pi\,\pi\,\pi\,\pi\,\pi$$
  • Mensajes: 1,551
  • Karma: +1/-0
  • Sexo: Femenino
¡Muchas gracias, PabloN, todo claro!

Saludos