Autor Tema: Función convexa y diferenciable en una serie determinada es decreciente

0 Usuarios y 1 Visitante están viendo este tema.

11 Diciembre, 2024, 12:09 pm
Leído 761 veces

Daxito

  • $$\Large \color{#6a84c0}\pi$$
  • Mensajes: 23
  • País: es
  • Karma: +0/-0
Buenos días,

¿Cómo se puede demostrar que una función \( f \), que es diferenciable y convexa en un conjunto abierto y convexo \( \Omega \subset \mathbb{R}^n \), es decreciente a lo largo de una sucesión \( \{x_m\}_{m=0}^\infty \), definida iterativamente como \( x_{m+1} = x_m - \nabla f(x_m) \)?

Según tengo entendido, si \( f \) es convexa, se cumple que
\[
f(y) \geq f(x) + \langle \nabla f(x), y - x \rangle
\]
para toda \( x, y \in \Omega \).

¿Cómo se puede usar este resultado para demostrar que la sucesión \( \{f(x_m)\}_{m=0}^\infty \) es decreciente?

11 Diciembre, 2024, 12:40 pm
Respuesta #1

Luis Fuentes

  • el_manco
  • Administrador
  • Mensajes: 58,871
  • País: es
  • Karma: +0/-0
Hola

Buenos días,

¿Cómo se puede demostrar que una función \( f \), que es diferenciable y convexa en un conjunto abierto y convexo \( \Omega \subset \mathbb{R}^n \), es decreciente a lo largo de una sucesión \( \{x_m\}_{m=0}^\infty \), definida iterativamente como \( x_{m+1} = x_m - \nabla f(x_m) \)?

Según tengo entendido, si \( f \) es convexa, se cumple que
\[
f(y) \geq f(x) + \langle \nabla f(x), y - x \rangle
\]
para toda \( x, y \in \Omega \).

¿Cómo se puede usar este resultado para demostrar que la sucesión \( \{f(x_m)\}_{m=0}^\infty \) es decreciente?

Tal como está no es cierto. Por ejemplo si tomas \( f(x)=x^4 \) y \( x_1=1 \). Entonces \( f'(x)=3x^4 \) y:

\( x_2=x_1-f'(x_1)=1-3=-2 \)

\( f(x_1)=f(1)=1^4=1<f(x_2)=f(-2)=(-2)^4=16 \)

Es cierto para un \( \delta_n \) suficientemente pequeño que pondere el gradiente:

\( x_{m+1} = x_m - \delta_m\nabla f(x_m) \)

Saludos.

11 Diciembre, 2024, 04:29 pm
Respuesta #2

Daxito

  • $$\Large \color{#6a84c0}\pi$$
  • Mensajes: 23
  • País: es
  • Karma: +0/-0
Tienes toda la razón, ¿y si consideráramos \( f(x) = \|x\|^2 \), siendo la norma la euclidiana? Entonces sí que se cumpliría, ¿verdad? Aun así, me cuesta un poco formalizarlo usando el resultado comentado.

Podría decir que
\[
\begin{aligned}
    &\text{Dado que } f(y) \geq f(x) + \langle \nabla f(x), y - x \rangle, \implies \\
    &f(x_{m+1}) \geq f(x_{m}) + \langle \nabla f(x_{m}), x_{m+1} - x_{m} \rangle.
\end{aligned}
\]
Sustituyendo \( x_{m+1} = x_m - \nabla f(x_m) \), se tiene:
\[
\begin{aligned}
    &f(x_{m+1}) \geq f(x_{m}) + \langle \nabla f(x_{m}), -\nabla f(x_{m}) \rangle.
\end{aligned}
\]
Es decir:
\[
f(x_{m+1}) \geq f(x_{m}) - \|\nabla f(x_{m})\|^2.
\]
Si suponemos que \( f(x_{m}) \geq f(x_{m+1}) \) y sustituimos en la desigualdad anterior, llegamos a que esto se cumple si y solo si
\[
0 \geq -\|\nabla f(x_{m})\|^2,
\]
lo cual es cierto.

¿Quedaría así bien demostrado?

11 Diciembre, 2024, 05:13 pm
Respuesta #3

Luis Fuentes

  • el_manco
  • Administrador
  • Mensajes: 58,871
  • País: es
  • Karma: +0/-0
Hola

Tienes toda la razón, ¿y si consideráramos \( f(x) = \|x\|^2 \), siendo la norma la euclidiana? Entonces sí que se cumpliría, ¿verdad? Aun así, me cuesta un poco formalizarlo usando el resultado comentado.

Si consideras ese caso particular puedes escribir explícitamente la sucesión. Tienes que \( \nabla f(x)=2x \) y

\( x_{m+1}=x_m-2x_m=-x_{m} \)

con lo cual \( f(x_m)=\|x_m\|^2 \) sería en este caso contante.

Citar
Podría decir que
\[
\begin{aligned}
    &\text{Dado que } f(y) \geq f(x) + \langle \nabla f(x), y - x \rangle, \implies \\
    &f(x_{m+1}) \geq f(x_{m}) + \langle \nabla f(x_{m}), x_{m+1} - x_{m} \rangle.
\end{aligned}
\]
Sustituyendo \( x_{m+1} = x_m - \nabla f(x_m) \), se tiene:
\[
\begin{aligned}
    &f(x_{m+1}) \geq f(x_{m}) + \langle \nabla f(x_{m}), -\nabla f(x_{m}) \rangle.
\end{aligned}
\]
Es decir:
\[
f(x_{m+1}) \geq f(x_{m}) - \|\nabla f(x_{m})\|^2.
\]
Si suponemos que \( f(x_{m}) \geq f(x_{m+1}) \) y sustituimos en la desigualdad anterior, llegamos a que esto se cumple si y solo si
\[
0 \geq -\|\nabla f(x_{m})\|^2,
\]
lo cual es cierto.

¿Quedaría así bien demostrado?

No acabo de entender lo que pretendes. Quedamos en que el resultado NO es cierto en general y ahí parece que de nuevo pretendas demostrarlo.

\( f(x_{m+1}) \geq f(x_{m}) - \|\nabla f(x_{m})\|^2. \)

De ahí no se deduce que \( f(x_{m+1})\leq f(x_m) \) (tu razonas algo así como que \( P\Rightarrow Q \) y como\(  Q \) es cierto entonces \( P \) es cierto, pero eso es una falacia lógica).

Fíjate que esa desigualdad dice que \( f(x_{m+1}) \) es más grande que \( f(x_m) \) menos algo; difícilmente podrás deducir de ahí que necesariamente \( f(x_{m+1}) \) es más pequeño que \( f(x_m) \).

Si tomas la sucesión que yo te dije:

\( x_{m+1} = x_m - \color{red}\delta_m\color{red}\nabla f(x_m) \)

Entonces puedes aplicar  \( f(y) \geq f(x) + \langle \nabla f(x), y - x \rangle \) pero intercambiando los papeles de \( x_m \) e \( x_{m+1} \) es decir:

\( f(x_m)\geq f(x_{m+1})+\langle \nabla f(x_{m+1}), x_m - x_{m+1} \rangle=f(x_{m+1})+\delta_m<\nabla f(x_{m+1}),\nabla f(x_{m})> \) (*)

Ahora como \( <f(x_m),f(x_m)>=\|f(x_m)\|^2>0 \), por continuidad si \( x_{m+1} \) está suficientemente cerca de \( x_m \), se conserva el signo, es decir \( <\nabla f(x_{m+1}),\nabla f(x_{m})>>0 \) y por tanto en (*) queda:

\( f(x_m)>f(x_{m+1}) \)

Ese "suficientemente cerca" se consigue tomando un \( \delta_m \) suficientemente pequeño.

Saludos.

11 Diciembre, 2024, 06:18 pm
Respuesta #4

Daxito

  • $$\Large \color{#6a84c0}\pi$$
  • Mensajes: 23
  • País: es
  • Karma: +0/-0
Tienes razón, mi respuesta anterior no tiene sentido, llevaba unos días probando y he querido salir por donde podia…
El ejercicio que trato de resolver es el siguiente:

Sean \(\mathbf{A}\) una matriz de dimensión \(m \times n\), con \(m > n\) y rango \(n\), y \(\mathbf{b} \in \mathbb{R}^m\). Considérese la función \(f : \mathbb{R}^n \to \mathbb{R}\) definida mediante

\[
f(\mathbf{x}) = \|\mathbf{A} \mathbf{x} - \mathbf{b}\|_2^2
\]


Fijado arbitrariamente \(\mathbf{x}_0 \in \mathbb{R}^n\), se define iterativamente la sucesión \((\mathbf{x}_m)_{m=0}^\infty\) mediante
\[
\mathbf{x}_{m+1} = \mathbf{x}_m - \nabla f(\mathbf{x}_m).
\]
Probar que la sucesión \((f(\mathbf{x}_m))_{m=0}^\infty\) es decreciente.

11 Diciembre, 2024, 08:01 pm
Respuesta #5

Luis Fuentes

  • el_manco
  • Administrador
  • Mensajes: 58,871
  • País: es
  • Karma: +0/-0
Hola

Tienes razón, mi respuesta anterior no tiene sentido, llevaba unos días probando y he querido salir por donde podia…
El ejercicio que trato de resolver es el siguiente:

Sean \(\mathbf{A}\) una matriz de dimensión \(m \times n\), con \(m > n\) y rango \(n\), y \(\mathbf{b} \in \mathbb{R}^m\). Considérese la función \(f : \mathbb{R}^n \to \mathbb{R}\) definida mediante

\[
f(\mathbf{x}) = \|\mathbf{A} \mathbf{x} - \mathbf{b}\|_2^2
\]


Fijado arbitrariamente \(\mathbf{x}_0 \in \mathbb{R}^n\), se define iterativamente la sucesión \((\mathbf{x}_m)_{m=0}^\infty\) mediante
\[
\mathbf{x}_{m+1} = \mathbf{x}_m - \nabla f(\mathbf{x}_m).
\]
Probar que la sucesión \((f(\mathbf{x}_m))_{m=0}^\infty\) es decreciente.

Yo creo que sigue sin ser cierto.

Por ejemplo toma \( n=1 \), \( m=2 \), \( A=\begin{pmatrix}2\\3\\\end{pmatrix} \), \( b=\vec 0 \). Entonces:

\( f(x)=\|Ax-b\|_2^2=\|(2x,3x)\|^2=13x^2 \)
\( f'(x)=26x \)

\( x_{m+1}=x_m-f'(x_m)=x_m-26x_m=-25x_m \).

Si tomas \( x_0=1 \), entonces \( x_1=-25 \) y \( f(x_0)=f(1)=13<f(x_1)=f(-25)=13\cdot 25^2 \).

Saludos