Muchas gracias por contestar.
De nada.
Ya he resuelto a) b) y c). ¿Alguna indicación para e)? 
Bueno, si tienes esos apartados resueltos supongo que habrás llegado a que si se llama \( Q_\textit{J} \) y \( Q_\textit{G-S} \) a las matrices de iteración del método de Jacobi y Gauss-Seidel respectivamente, se tiene
\( Q_\textit{J}=\begin{pmatrix}0&-a&0\\-a&0&-b\\0&-b&0\end{pmatrix},\qquad Q_\textit{G-S}=\begin{pmatrix}0&-a&0\\0&a^2&-b\\0&-a^2b&b^2\end{pmatrix} \)
Los polinomios característicos correspondientes (no los calculé a mano, sino con el Derive

) son:
\( X_{Q_\textit{J}}(\lambda)=\lambda(a^2+b^2-\lambda^2) \)
\( X_{Q_\textit{G-S}}(\lambda)=\lambda^2(a^2+b^2-\lambda) \)
Se puede determinar el radio espectral de \( Q_\textit{J} \) y \( Q_\textit{G-S} \).
Asumiendo \( a,b\neq 0 \) (pues en caso contrario la solución del sistema sería trivialmente \( (x,y,z)=(1,2,3) \) y no tendría sentido aplicar ningún método), los valores propios de \( Q_\textit{J} \) son:
\( \sqrt{a^2+b^2},\quad -\sqrt{a^2+b^2},\quad 0 \)
Los de \( Q_\textit{G-S} \):
\( 0\text{ (doble)},\quad a^2+b^2 \)
Por lo tanto, \( \rho(Q_\textit{J})=\sqrt{a^2+b^2} \) y \( \rho(Q_\textit{G-S})=a^2+b^2 \). Esto implica que ambos métodos convergen o divergen a la vez (convergen si \( a^2+b^2<1 \) y divergen si \( a^2+b^2>1 \)).
Si \( \red a^2+b^2=1 \) el sistema no es compatible determinado. Respecto a cuál converge más rápido se tiene este
teorema (que al final, lo acepté sin demostración), que es equivalente al tú pones en el apartado e). En virtud de él, hay que comparar los radios espectrales de \( Q_\textit{J} \) y \( Q_\textit{G-S} \): convergerá más rápido aquél cuya matriz de iteración tenga menor radio espectral. Para ello usa que si \( 0< x< 1 \) se tiene que \( x<\sqrt{x} \).
Y esto no es sorpresa. En general, Gauss-Seidel converge más rápido que Jacobi

.
Saludos