Buenas
Sintesis 
,
No veo de donde has sacado esas integrales para calcular la integral en cuestión.
Consideremos las siguientes curvas para parametrizar el rectangulo:
\( \gamma_1(t)= (1-t)(0,0) + t(5,0)=(5t,0) \) con \( t\in[0,1] \)
\( \gamma_2(t)= (1-t)(5,0) + t(5,4)=(5,4t) \) con \( t\in[0,1] \)
\( \gamma_3(t)= (1-t)(5,4) + t(0,4)=(5(1-t),4) \) con \( t\in[0,1] \)
\( \gamma_4(t)= (1-t)(0,4) + t(0,0)=(0,(1-t)4) \) con \( t\in[0,1] \)
Luego por comodidad llamemos \( F(x,y)=(y^2,x^2y) \), la integral pedida es:
\( \displaystyle\int_C F = \sum_{i=1}^4{\int_{0}^{1}\left<{F\circ \gamma_i (t),\gamma_i ' (t)}\right>dt} \)
\( \displaystyle=\int_{0}^{1}\left<{(0,0),(5,0)}\right>dt + \int_{0}^{1}\left<{ (16t^2,100t),(0,4)}\right>dt +\int_{0}^{1}\left<{ (16,100(1-t)^2),(-5,0)}\right>dt+\int_{0}^{1}\left<{ (16(1-t)^2,0),(0,-4)}\right>dt \)
\( \displaystyle= 0 + \int_{0}^{1} 400tdt + \int_{0}^{1} -80dt + 0 = 200-80 = 120 \)
Saludos,
Franco.