Le he dado un vistazo rápido y me parece que esencialmente está bien, aunque hay algunos problemas.
Por ejemplo, no me queda claro por qué usas la versión covariante de Yoneda. Para mí al menos, es más natural usar la contravariante, que te da un embedding de tu categoría en una categoría de prehaces.
Otro tema es cómo defines la composición. En el primer sitio donde la defines pones \( a(* \to *) \circ b(* \to *) = b \circ a = b a \). Entonces, ¿debemos considerar que \( b \circ a =ba \) o que \( b \circ a = ab \)? Esto es importante, porque parece que adoptes el primer convenio, pero entonces \( \psi_g:G \to G \) no es una transformación natural de tu \( \mathcal{H}^* \), porque si \( a:* \to * \) es un morfismo, tienes que \( \psi_g \circ \mathcal{H}^*a (x) = gax \), mientras que \( \mathcal{H}^*a \circ \psi_g (x) = agx \), que no son iguales en principio si el grupo no es conmutativo. Sí te hubiera funcionado si en vez de el funtor covariante \( \mathcal{H}^* \) hubieras tomado el contravariante \( \mathcal{H}_* \). También funciona si tomas el covariante pero defines \( \psi_g \) como multiplicación por \( g \) por la izquierda, en vez de por la derecha.
Por otro lado, está muy detallado, quizás demasiado, de manera que explicitas todos los isomorfismos y prácticamente repites la prueba clásica. Diría que se puede dar un argumento puramente formal usando Yoneda, de manera que no tengas que hablar de los \( \psi_g \) explícitamente. Si tengo tiempo más tarde escribo el argumento aquí.
Añadido: Una prueba formal del teorema de Cayley vía Yoneda
Sea \( G \) un grupo y sea \( C_G \) la categoría asociada (es decir, esta categoría tiene un único objeto \( * \) y \( Hom(*,*) \cong G \)). Consideremos el funtor contravariante \( h_* = Hom_{C_G}(-,*) \). Por el lema de Yoneda, tenemos que existe una biyección natural:
\( h_*(*) \cong Nat(h_*,h_*) \).
Pero el objeto de la izquierda no es más que \( h_*(*)=Hom_{C_G}(*,*) \cong G \). Por otro lado, esa biyección natural preserva composiciones.
Veamos esto último con más calma, en una formulación más general.
Lema: Si \( C \) es una categoría cualquiera, \( x \) es un objeto y \( h_x:C \to C \) el funtor contravariante \( h_x = Hom_C(-,x) \), entonces \( h_x(x)=Hom_C(x,x) \) tiene estructura de monoide con la composición, y de igual manera \( Nat(h_x,h_x) \) tiene estructura de monoide con la composición (horizontal) de transformaciones naturales. En esta situación, la aplicación de Yoneda:
\( Y:h_x(x) \to Nat(h_x,h_x) \)
es un isomorfismo de monoides.
Demostración:
Por el lema de Yoneda, \( Y \) es una biyección de conjuntos, así que basta ver que si \( f,g:x \to x \) entonces \( Y(f \circ g) = Y(f) \circ Y(g) \).
Pero \( Y(f \circ g):h_x \Rightarrow h_x \) es una transformación natural definida por \( Y(f \circ g)_x(1_x)=f \circ g \). Por otro lado, \( (Y(f) \circ Y(g))_x(1_x) = Y(f)_x((Y(g)_x(1_x))) = Y(f)_x(g) = f \circ g \), donde la última igualdad sale de la naturalidad de \( Y(f) \). De nuevo por el lema de Yoneda, esto implica que las dos transformaciones naturales son la misma, luego efectivamente,\( Y(f \circ g) = Y(f) \circ Y(g) \).
Con este lema ya está todo hecho: \( G \cong Nat(h_*,h_*) \) como monoides, luego en particular \( Nat(h_*,h_*) \) es un grupo, isomorfo a \( G \), y finalmente hay una inclusión obvia \( Nat(h_*,h_*) \to Biy(G,G) \) dada por \( \tau \mapsto \tau_* \) (que vaya al conjunto de biyecciones es consecuencia de que hemos probado que cualquier transformación natural \( h_* \Rightarrow h_* \) es invertible).
En fin, la clave de la prueba está en ver que en nuestra situación la biyección del lema de Yoneda es además un isomorfismo de grupos. La verdad es que es curioso, pero creo que nunca he visto el lema que he puesto en ningún libro, aunque es algo bastante natural que uno puede esperar (en las situaciones en las que tienes una estructura extra, la biyección de Yoneda preserva esta estructura).