Hola galilea.
Bien, ahora vemos cómo calcular el vector de traslación. Pero antes observemos que en realidad tenemos muchas más soluciones. Hay infinitas, pues la ecuación que debemos resolver es \( a^{2}+b^{2}=1 \). De aquí se deduce las soluciones son todos los números de la forma \( a=\cos\theta \), \( b=\sen\theta \), donde \( \theta \) es cualquier ángulo. Por ejemplo para \( \theta=\pi/4 \) tenemos que \( a=b=1/\sqrt{2} \) también es solución.
Sobre cómo encontrar el vector de traslación. Una forma es primero encontrar un punto \( p_{0} \) en el plano de simetría. Pues si conocemos \( p_{0} \) también conoceremos \( f(p_{0}) \) y el vector de traslación es la diferencia \( f(p_{0})-p_{0} \).
Para encontrar un punto en el plano de simetría, notemos que al avaluar cualquier punto \( p\in\mathbb{R}^{3} \), el punto medio entre \( p \) y \( f(p) \) siempre está en el plano de simetría. Es decir \( p_{0}=\frac{1}{2}[p+f(p)] \) pertenece al plano de simetría, para todo \( p\in\mathbb{R}^{3} \).
Con todo esto en mente, en nuestro caso podemos tomar \( p=\begin{pmatrix}0\\0\\0\end{pmatrix} \), luego \( p_{0}=\dfrac{1}{2}\bigg[\begin{pmatrix}0\\0\\0\end{pmatrix}+f\begin{pmatrix}0\\0\\0\end{pmatrix}\bigg]=\begin{pmatrix}0\\0\\1\end{pmatrix} \) pertenece al plano de simetría. Por tanto \( f\begin{pmatrix}0\\0\\1\end{pmatrix}-\begin{pmatrix}0\\0\\1\end{pmatrix}=\begin{pmatrix}0\\0\\2\end{pmatrix} \) es el vector de traslación.
Revisa las cuentas, por si haya cometido algún error, y si tienes dificultades, pregunta.
Saludos,
Enrique.