Hola
Si se pudiesen sumar, quedaría demostrado que la relación es un orden, pero no lo es pues no se cumple la propiedad transitiva ya que 5R3 y 7R5 implicaría que 25-9 y 49-25 serían positivos (cierto) y si se cumpliese la propiedad transitiva sería 7R3 es decir 9-49 positivo (falso).
Te estás haciendo un lío tu solo.
La relación está definida así:
\( nRm \) si y solo si \( \exists{k\in{\mathbb N}} \) tal que \( m^2-n^2=k \)
Entonces:
1- es falso que \( 5R3 \) porque \( 3^2-5^2=9-25=-16 \) que no es natural
2- es falso que \( 7R5 \) porque \( 5^2-7^2=25-49=-24 \) que no es natural
3- es falso que \( 7R3 \) porque \( 3^2-7^2=9-49=-40 \) que no es natural
Tu sin embargo dices que \( 5R3 \) porque \( 5^2-3^2=25-9=16 \) es natural; es decir te equivocas y cambias el orden en la definición de la relación.
Lo curioso es que no eres coherente con tu error; por que luego en \( 7R3 \) si la usas en el orden correcto.
Un ejemplo de la transitividad sería:
\( 3R5 \) porque \( 5^2-3^2=25-9=16 \) que es natural
\( 5R7 \) porque \( 7^2-5^2=49-25=24 \) que es natural
La transitividad es que de ahí se deduce que \( 3R7 \). Y efectivamente:
\( 3R7 \) porque \( 7^2-3^2=49-9=40 \) que es natural
Saludos.