Hola
Las coordenadas elípticas (usuales) suelen definirse como:
\( x=kcosh(\mu)cos(\nu) \)
\( y=ksinh(\mu)sin(\nu) \)
donde \( (k,0) \) y \( (-k,0) \) son los focos de las elipses e hipérbolas que resultan al tomar las curvas coordenadas.
En nuestro caso nos conviene tomar \( k^2=a^2-b^2 \), suponiendo que \( a>b \).
¿Te refieres a estas coordenadas?.
2) No estoy seguro a que se refiere con "cambio adecuado". Además intuyo que en los límites de D debería de haber una desigualdad en lugar de una igualdad.
Puedes probar en cualquier caso con:
\( x=r^4\,cos^4(\alpha) \)
\( y=r^4\,sin^4(\alpha). \)
Saludos.