Hola.
Los únicos residuos cuadráticos módulo 5 son 1 y 4.
Si \( 5 \not | a \)
Supongamos \( a\equiv_5\pm 1 \)
\(
\begin{eqnarray}
a^2+b^2+1 &\equiv & 0\mod 5\\
b^2+2 &\equiv & 0\mod 5\\
b^2 &\equiv & 3\mod 5
\end{eqnarray}
\)
La (3) es imposible porque 3 no es reciduo cuadrático módulo 5.
Luego, debe ser:
\( a\equiv_5\pm 3 \)
\(
\setcounter{equation}{3}
\begin{eqnarray}
a^2+b^2+1 &\equiv & 0\mod 5\\
b^2+10 &\equiv & 0\mod 5\\
b^2 &\equiv & 0\mod 5
\end{eqnarray}
\)
Luego, \( 5|b \)
Lo mismo se puede hacer con a.
Saludos.