Esto debería estar hecho en cualquier libro de teoría de categorías básica, como el de MacLane o el de Emily Riehl, por si lo quieres consultar con más detalles. No es que sea difícil, pero sí que puede llegar a ser un tanto confuso. De hecho estas cosas se ven mejor dibujando las flechas que escribiendo, pero intentaré explicar el argumento.
Lo primero es definir la transformación natural \( \epsilon:F \circ G \Rightarrow 1_D \), que es lo que quieres probar que existe pero no has definido en tu mensaje. Que \( \eta_c:c \to GFc \) sea un objeto inicial en \( (c \downarrow G) \) quiere decir que dado cualquier morfismo\( f:c \to G{\color{red}d} \) existe un único morfismo \( \tilde{f}:Fc \to \color{red}d \) que cumple \( G\tilde{f} \circ \eta_c = f \). Llamamos a \( \tilde{f} \) adjunto de \( f \) por \( \eta \). Ahora, definimos \( \epsilon_d := \widetilde{1_{Gd}} \) donde \( 1_{Gd}:Gd \to Gd \) es el morfismo identidad. Habría que comprobar que si definimos \( \epsilon \) así realmente es una transformación natural, cosa que voy a omitir aquí.
Ahora que tenemos definido \( \epsilon \) hay que comprobar que cada \( \epsilon_d:FGd \to d \) es final en \( (F \downarrow d) \), que como pones en tu mensaje se traduce en ver que para cada morfismo \( g:Fc \to d \) existe un único morfismo \( \hat{g}:c \to Gd \) que cumple \( \epsilon_d \circ F\hat{g} = g \). Con las piezas que tenemos solamente hay una única manera de definir un morfismo \( \hat{g}:c \to Gd \) a partir de \( g:Fc \to d \) que es definiendo \( \hat{g} := Gg \circ \eta_c \). Este sería tu \( \beta \) (yo he usado la notación \( \hat{g} \) en lugar de \( \beta \) para que se vea mejor la conexión con el morfismo original \( g \)). Ahora falta ver que si definimos \( \hat{g} \) así se cumple la igualdad \( \epsilon_d \circ F\hat{g} = g \) y que este es el único morfismo que la cumple.
Para ver esto último, el truco es observar que:
\(
\begin{equation} \tag{1}
G(\epsilon_d \circ F\hat{g}) \circ \eta_c = G\widetilde{1_{Gd}} \circ GF\hat{g} \circ \eta_c = G\widetilde{1_{Gd}} \circ \eta_{Gd} \circ \hat{g} = 1_{Gd} \circ \hat{g} = \hat{g}
\end{equation} \)
donde en la primera igualdad uso la definición de \( \epsilon_d \), en la segunda que \( \eta_c \) es una transformación natural, en la tercera la definición de \( \widetilde{1_{Gd}} \).
Fíjate que hasta aquí no hemos usado la definición de \( \hat{g} \). Si la usamos ahora, obtenemos que:
\( G(\epsilon_d \circ {\color{red} F}\hat{g}) \circ \eta_c = Gg \circ \eta_c \). Luego de aquí deducimos, por la propiedad universal de \( \eta_c \) (la unicidad, en concreto) que debe ser \( \epsilon_d \circ {\color{red} F} \hat{g} = g \), justo lo que queríamos. Esto prueba la existencia.
Para ver la unicidad, si tenemos otra \( \beta \) que cumple \( \epsilon_d \circ F \beta = g \), tenemos que \( \beta = G(\epsilon_d \circ F\beta) \circ \eta_c = Gg \circ \eta_c = \hat{g} \), donde la primera igualdad se sigue de \( (1) \) (recuerda que no habíamos usado nada sobre la forma de \( \hat{g} \) ahí), la segunda por hipótesis y la tercera es la definición de \( \hat{g} \).
Corregido. Gracias malboro.