Autor Tema: Gradiente y Hessiana de Función Cuártica

0 Usuarios y 1 Visitante están viendo este tema.

06 Febrero, 2012, 04:38 pm
Leído 3438 veces

eldher

  • $$\Large \color{#6a84c0}\pi$$
  • Mensajes: 4
  • Karma: +0/-0
  • Sexo: Masculino
Saludos, estoy tratando de derivar esta función para programar el método de Newton. A es una matriz simétrica
\( f(x)= \frac{1}{2} x^t x + \frac{1}{4} (x^t A x)^2  \)
Calculé el gradiente, usando regla de la cadena y A simétrica
\(  \nabla f(x)= x + \frac{1}{4} [2(x^t A x)(2Ax)]  \)
Ahora el Hessiano no sé como empezar...
\(  \nabla^2 f(x)= \vec{1} + (2Ax)(Ax) + A(x^t A x) \)
Se supone que el Hessiando es una matriz, pero aquí me está quedando un vector y una constante...
Agradecería me puediesen ayudar con esto, gracias !!

08 Febrero, 2012, 06:34 pm
Respuesta #1

pierrot

  • pabloN
  • Moderador Global
  • Mensajes: 3,447
  • País: uy
  • Karma: +0/-0
  • Sexo: Masculino
Saludos, estoy tratando de derivar esta función para programar el método de Newton. A es una matriz simétrica
\( f(x)= \frac{1}{2} x^t x + \frac{1}{4} (x^t A x)^2  \)
Calculé el gradiente, usando regla de la cadena y A simétrica
\(  \nabla f(x)= x + \frac{1}{4} [2(x^t A x)(2Ax)]  \)

Hasta ahí estoy de acuerdo. Lo que no entiendo es lo que le sigue. ¿Qué se supone que denota \( \nabla^2 f(x) \)? Por otra parte, ¿la función es \( f:\mathbb{R}^{n\times 1}\rightarrow{}\mathbb{R} \) genérica, o bien el \( n \) está dado en la letra? Para la matriz hessiana debes ver qué pasa entrada a entrada y luego te fijas si no se puede llegar a una notación más compacta.

Saludos
$_="loe  hnachaPkr erttes,urJ";$j=0;for($i=0;s/(.)(.{$j})$//;$i++){$_=$2.$_,$j+=1-$i%2,print$1}print

09 Febrero, 2012, 04:39 pm
Respuesta #2

Luis Fuentes

  • el_manco
  • Administrador
  • Mensajes: 58,907
  • País: es
  • Karma: +0/-0
Hola

 En realidad te queda:

 \(  \nabla^2 f(x)=Id+ 2(Ax)(Ax)^t + A(x^tAx) \)

 que es una matriz \( n\times n \).

Saludos.


09 Febrero, 2012, 06:11 pm
Respuesta #3

eldher

  • $$\Large \color{#6a84c0}\pi$$
  • Mensajes: 4
  • Karma: +0/-0
  • Sexo: Masculino
Excelente !! eso es lo que debería dar... Muchas gracias a ambos !!

09 Febrero, 2012, 09:51 pm
Respuesta #4

pierrot

  • pabloN
  • Moderador Global
  • Mensajes: 3,447
  • País: uy
  • Karma: +0/-0
  • Sexo: Masculino
En realidad te queda:

\(  \nabla^2 f(x)=Id+ 2(Ax)(Ax)^t + A(x^tAx) \)

que es una matriz \( n\times n \).

Hola el_manco

¿Cómo se hace para "derivar" estas expresiones de la forma más fácil posible? Pues yo para verificar la fórmula de eldher del gradiente tuve que analizar entrada a entrada cómo iban quedando las derivadas parciales (tarea por cierto bastante engorrosa) y finalmente con un poco de intuición deduje cómo quedaría en notación vectorial. Me suena a que debe haber "reglas" análogas a las de derivación de funciones de \( \mathbb{R} \) en \( \mathbb{R} \) pero nunca he leído nada al respecto.

Por otra parte, ¿es común el uso de \( \nabla^2f(x) \) para referirse a la matriz hessiana? Acá se usa más esa notación para el laplaciano...

Muchas gracias
$_="loe  hnachaPkr erttes,urJ";$j=0;for($i=0;s/(.)(.{$j})$//;$i++){$_=$2.$_,$j+=1-$i%2,print$1}print

09 Febrero, 2012, 10:09 pm
Respuesta #5

Luis Fuentes

  • el_manco
  • Administrador
  • Mensajes: 58,907
  • País: es
  • Karma: +0/-0
Hola

 En cuanto a la notación, tienes razón, esa suele usarse para el Laplaciano.

 En cuanto a la derivación, tampoco hice las cuentas vectorialmente. Pero no es tan difícil usando índices, notación tensorial.

 Las primeras parciales serían:

\(  f_i=x_i+\dfrac{1}{2}(x^tAx)2A_{ik}x_k=x_i+(x^tAx)A_{ik}x_k \)

 (la notación \( A_{ik}x_k \) es una forma abreviada de escribir \( \displaystyle\sum_{k=1}^n{}A_{ik}x_k \))

 Las segundas derivadas:

\(  f_{ij}=\delta_{ij}+2A_{jl}x_lA_{ik}x_k+(x^tAx)A_{ik}\delta_{kj}=\delta_{ij}+2A_{jl}x_lA_{ik}x_k+(x^tAx)A_{ij} \)

 Donde \( \delta_{ij} \) es la delta de Kronecker. El paso de esa expresión a la matricial es ahora practicamente inmediato.

Saludos.

09 Febrero, 2012, 10:59 pm
Respuesta #6

eldher

  • $$\Large \color{#6a84c0}\pi$$
  • Mensajes: 4
  • Karma: +0/-0
  • Sexo: Masculino
Bueno hay un método un tanto engorroso pero siempre funciona, usando Series de Taylor, evaluadas en \( g(t)=f(x+tp) \) con \( x,p \in \mathbb{R}^n \) y \(  t \in \mathbb{R}  \).

\(  g'(0)= \nabla f(x)^T p  \) por ej. suponiendo A simétrica
\(  f(x) = x^t A x \rightarrow g(t)=(x+tp)^t A(x+tp)  \)
\(  g(t)= x^t A x + 2x^t A tp + t^2 p^t A p  \)
\(  g'(t)= 2x^t A p + 2t p^t A p  \)
\(  g'(0)= 2x^t A p = 2Ax p   \)
Entonces \( \nabla f(x)= 2Ax  \) si A es simétrica.
pabloN si en efecto, \( \nabla ^2 f(x)  \) es usada para el Laplaciano, pero seguí la notación dada. Para hallar el Hessiano, hay que hacer lo mismo pero con \( h(t)= \nabla f(x + tp) \). Gracias por sus respuestas !!

09 Febrero, 2012, 11:58 pm
Respuesta #7

pierrot

  • pabloN
  • Moderador Global
  • Mensajes: 3,447
  • País: uy
  • Karma: +0/-0
  • Sexo: Masculino
el_manco:

:o. Genial. Simplifica muchísimo. El único paso que me pareció no trivial es que si \( g(x)=x^tAx \) entonces \( g_i=2A_{ik}x_k \) (valiéndose de que \( A \) es simétrica). Lo demás sale casi inmediato y con poca chance de equivocarse.

eldher:

Gracias por exponer tu método.
\(  g'(0)= \nabla f(x)^T p  \) por ej. suponiendo A simétrica
Aquí tengo una duda. ¿Por qué para afirmar eso necesitarías que \( A \) fuera simétrica? Lo pregunto por lo siguiente:

\( \displaystyle g'(0)=\lim_{h\to 0}\frac{g(h)-g(0)}{h}=\lim_{h\to 0}\frac{f(x+hp)-f(x)}{h}=\frac{{\partial f(x)}}{{\partial p}} \)

Es decir, este último límite vendría a ser la derivada direccional de \( f \) según \( p \) evaluada en \( x \). Como la función \( f \) es polinómica y por lo tanto diferenciable en todo punto, el valor de ese límite es \( <\nabla f(x),\ p>=\nabla f(x)^T\cdot p \) independientemente de cuál sea la matriz.

¡Un saludo a los dos!

PD. el_manco, la verdad contento (como muchos) de que ya andes por aquí :)
$_="loe  hnachaPkr erttes,urJ";$j=0;for($i=0;s/(.)(.{$j})$//;$i++){$_=$2.$_,$j+=1-$i%2,print$1}print

10 Febrero, 2012, 04:29 am
Respuesta #8

eldher

  • $$\Large \color{#6a84c0}\pi$$
  • Mensajes: 4
  • Karma: +0/-0
  • Sexo: Masculino
pabloN tienes razón no necesariamente debe ser simétrica, lo supose para no enredarme tanto en el ejemplo,en todo caso sería \( \nabla f(x)=(A^t + A)x \) si mal no recuerdo. El método de el_manco está mucho mejor, con algo de práctica... El gradiente de \( f(x)= \frac{x^t A x}{x^t x} \), curiosamente sale directo aplicando la derivada de una función racional.

Saludos !!