Quizá te ayude a verlo más claro utilizando otras letras en vez de \( x \) e \( y \). Tomemos en cambio los nombres \( L \), para la longitud del lado del cuadrado, y \( A \) para el área del cuadrado de lado \( L \).
Entonces, en principio, tenemos que \( L^2=A \), por definición del área de un cuadrado. Luego nos dicen que disminuyendo el lado en 3 el área disminuye en 45, es decir que \( (L-3)^2=A-45 \).
Por lo cual te queda el sistema de dos ecuaciones con dos incógnitas
\( \displaystyle \begin{align*}L^2&=A\\ (L-3)^2&=A-45\end{align*} \)