Un teorema previo es que para \( A\in{\mathbb{R}^{n\times{n}}} \) con \( A \) (pongamos diagonalizable en \( \mathbb{C} \) para fijar ideas) se verifica \( \lim_{m \to{+}\infty}{A^m}=0 \) sii \( \left |{\lambda_i}\right |<1 \) para todo \( \lambda_i \) valor propio de \( A \).
Esto es fácil de demostrar teniendo en cuenta que \( A^m \) es de la forma \( PDP^{-1} \) con \( D=\textrm{diag}(\lambda_1,\ldots,\lambda_n) \). Por otra parte, el teorema en que se basan los métodos que mencionas es que para \( A \) invertible, si \( s \) es la única solución del sistema \( Ax=b \) entonces, la sucesión:
\( x^{(m)}=(I-A)x^{(m-1)}+b \)
tiene como límite el vector solución \( s \)
para toda elección de \( x^{(0)} \) sii el radio espectral de \( I-A \) es menor que 1. Para demostrar esto, basta que llames \( B=I-A \), consideres \( \epsilon^{(m)}=x^{(m)}-x^{(0)} \) compruebes \( \epsilon^{(m)}=B\epsilon^{(m-1)} \) y tomes límites en esta última igualdad.
Como casos particulares del teorema anterior, y descomponiendo \( A \) de forma adecuada, obtenemos los métodos de Jacobi y Gauss-Seidel.
Saludos.