Está mal, creo que te estás haciendo un lío.
La relación es:
\( (x,y) \sim (x',y') \iff x^2-x'^2 + y -y' =0 \).
El conjunto donde tienes definida la relación es \( \Bbb R^2 \), los elementos son pares ordenados \( (x,y) \).
Así por ejemplo, para la reflexiva, tienes que probar que para cualquier par \( (x,y) \) se cumple
\( (x,y) \sim (x,y) \),
es decir, hay que probar que
\( x^2 -x^2 +y-y=0 \),
que es claramente verdad.
Puedes probar ahora tú con la simétrica y la transitiva