Hola
Otra forma de analizar es considerando que la matriz de f respecto a la base canónica de \( R^2 \) es \( A=\begin{pmatrix}{a}&{b}\\{c}&{d}\end{pmatrix} \), la matriz de \( f^3 \) será : \( A^3 \) y tendrá que ser igual a la matriz de la función identidad es decir se tiene \( A^3=I\Rightarrow{det \ A=1} \) luego es invertible y multiplicando por la inversa se tiene : \( A^2=A^{-1} \), en este punto estando en el tema se hace sencillo y la ecuación se traduce en :
\( A^2=\begin{pmatrix}{a^2+bc}&{ab+bd}\\{ac+cd}&{bc+d^2}\end{pmatrix}=\begin{pmatrix}{d}&{-b}\\{-c}&{a}\end{pmatrix}=A^{-1} \) se establecen las cuatro ecuaciones :
\( a^2+bc=d \) Ec. 1
\( ab+bd=-b \) Ec. 2
\( ac+cd=-c \) Ec. 3
\( bc+d^2=a \) Ec. 4
Restando la Ec 4 de la 1 se llega :
\( a^2-d^2=d-a \) suponiendo \( d-a\neq 0\Rightarrow{d\neq a} \) se llega a \( a+d=-1 \)
En este punto es suficiente, entre las diversas posibilidades, asumir \( a=0\Rightarrow{d=-1} \) para que se cumplan las Ec. 2 y 3 independientemente de los valores de b y c; pero también es necesario que se verifique \( det \ A=ad-bc=1\Rightarrow{bc=-1}\Rightarrow{c=\frac{-1}{b}}, \ \forall{b}\neq 0 \) luego una de las soluciones (b=-1/2)es :
\( A=\begin{pmatrix}{0}&{-1/2}\\{2}&{-1}\end{pmatrix} \)
El ejercicio b es prácticamente lo mismo.Ojo si \( A\in{R^{2X2}}\Rightarrow{A^3\in{R^{2X2}}} \) se trata de matrices de 2 filas y 2 columnas, son matrices cuadradas.
Saludos