Para la segunda existe otro truco, centrate nuevamente en la ecuacion dos
Tenemos el sistema
\( $x^4 + y^4 - x^2 y^2 = 13$ \)
\( $x^2 - y^2 + 2xy = 1$ \)
Analicemos la ecuacion dos
\( $x^2 - y^2 = 1 - 2xy \Leftrightarrow x^4 - 2x^2 y^2 + y^4 = 1 - 4xy + 4x^2 y^2$ \)
\( $x^4 + y^4 - x^2 y^2 = 1 - 4xy + 5x^2 y^2$ \)
Ahora juntemos (1) en (2), llegaras a
\( $$
5x^2 y^2 - 4xy - 12 = 0
$$ \)
\( $$
\left( {5xy + 6} \right)\left( {xy - 2} \right) = 0
$$ \)
\( $$
xy = - \frac{6}
{5} \wedge xy = 2
$$ \)
Ahora es cosa de juntar las soluciones xy con (1) y (2), veamos como nos quedara
para (1)
\( $$
x^4 + y^4 - x^2 y^2 = 13 \Leftrightarrow \left( {x^2 + y^2 } \right)^2 - 2x^2 y^2 - x^2 y^2 = 13
$$ \)
\( $$
\left( {x^2 + y^2 } \right)^2 - 3\left( {xy} \right)^2 = 13
$$ \)
Analizar casos:Si \( $xy = 2$ \)
\( $$
\left( {x^2 + y^2 } \right)^2 = 25 \Rightarrow x^2 + y^2 = \pm 5
$$ \)
ahora si \( $xy = - \frac{6}{5}$ \)
\( $$
\left( {x^2 + y^2 } \right)^2 - 3\left( { - \frac{6}
{5}} \right)^2 = 13 \Rightarrow x^2 + y^2 = \pm \frac{{\sqrt {433} }}
{5}
$$ \)
Ahora lo mismo hace con (2) y luego mezclas las ecuaciones y listo...
Lo demas te lo dejo como tarea

suerte!