Hola
Si \( (x,y) \) es el punto de tangencia se tiene que:
\( \dfrac{x^2}{a^2}+\dfrac{y^2}{b^2}=1 \) (pertenece a la elipse)
\( (x-R)^2+(y-R)^2=R^2 \) (pertenencia a la circunferencia)
\( \dfrac{x/a^2}{x-R}=\dfrac{y/b^2}{y-R} \) (condición de tangencia: los normales a elipse y circunferencia son paralelos).
Son tres ecuaciones y tres incógnitas; la cosa es que no se me ocurre una forma sencilla de resolverlas (no sé si la hay).
Se puede tomar \( x-R=R\cdot cos(\alpha) \), \( y-R=R\cdot sin(\alpha) \) con lo cuál las ecuaciones quedarían:
\( \dfrac{(1+cos(\alpha))^2}{a^2}+\dfrac{(1+sin(\alpha))^2}{b^2}=\dfrac{1}{R^2} \)
\( \dfrac{1+cos(\alpha)}{a^2\cdot cos(\alpha)}=\dfrac{1+sin(\alpha)}{b^2\cdot sin(\alpha)} \)
Las incógnitas son ahora \( R \) y \( \alpha \). Y de hecho la segunda ecuación sólo tiene una incógnita. Pero no se si ayuda en algo.
Saludos.