Hola.
Si llamas \( r \) al radio de la circunferencia pequeña entonces, formando un triángulo rectángulo entre los centros de las circunferencias y el punto de intersección de una recta paralela al eje x que pasa por el centro de la circunferencia más pequeña, y una recta vertical paralela al eje y que pasa por el centro de la circunferencia más grande tienes que, por pitágoras, \( (r+4)^2 = 2(4-r)^2 \) luego \( r = 12 - 8 \sqrt{2} \).
Saludos.