Hola Cabudare,
quizás podrías abordar el problema de otra forma.
Claramente \( -1\leq f(x,y)\leq 1 \), por lo que si encontramos pares \( (x,y) \) donde \( f \) valga \( 1 \) y donde valga \( -1 \) habremos encontrados los máximos y mínimos de \( f \).
Te doy la idea.
Si \( xy=2\pi \) (entonces \( \cos(xy)=1 \)) implicaría que \( y=\frac{2\pi}{x} \).
Si \( x^2y=\frac{\pi}{2} \) (entonces \( \sin(x^2y)=1 \)), reemplazando el valor de \( y \) obtenemos
\( \dfrac{\pi}{2}=x^2y=x^2\dfrac{2\pi}{x}=2\pi x\Rightarrow x=\dfrac{1}{4} \) y \( y=8\pi \).
Luego en \( (1/4,8\pi) \) la función \( f \) tiene un máximo.
Parece que podemos generalizar este análisis, aunque no he probado.