Hola.
La condición límite es cuando \( R= b\displaystyle\sqrt{1-\dfrac{D^2}{a^2-b^2}} = a-D \;\;\longrightarrow\;\; D=\dfrac{a^2-b^2}{a} \) , esto es antes del foco. Luego cambia la ecuación de \( R \) pues el punto de tangencia es siempre \( a \)
Yo también quise dar a entender eso justo antes de que lo hicieras tú, pero me temo que es erróneo, o al menos hay algo que no me acaba de cuadrar. Fíjate que la fórmula con la que calculamos el radio da cero cuando el centro de la circunferencia se sitúa en el foco. Eso no tiene mucho sentido. En realidad, el punto de tangencia está en el vértice de la elipse a partir del centro del círculo osculador, que en general estará antes del foco, concretamente a una distancia del centro igual a \( a-\displaystyle\frac{b^2}{a} \), si no me he equivocado.
Aquí adjunto un Geogebra en el que he representado el círculo osculador en el vértice. Moviendo el punto \[ I \] se puede ver cómo varía el círculo interior a la elipse y tangente en \[ I \].
Un saludo.