Haciendo cuentas a groso modo, me da que son 18.31 circunferencias las que cubrirían los $$ 2\pi r$$ de la circunferencia media entre la que inscriben al cuadrado y la que el cuadrado inscribe, pero lo dicho es solo una aproximación, ya que el punto de tangencia entre las circunferencias pequeñas no se ubica sobre el radio medio entre las grandes, sino en el punto medio del segmento que une sus centros, para que todas sean tangentes el ángulo que debe cubrir sería el cociente entre 360 y un número entero, pero 18.31 no es entero, quizá si entren 18 justas, pero si no lo hacen no todas las chicas serán tangente con otras 2 chicas.
El lado de un polígono de 18 lados inscrito en una circunferencia de radio $$r$$ es$$ L = 2r \sin\frac{180}{18}$$ con $$r=\dfrac{1+\sqrt{2}}{4} $$ del lado de un cuadrado unitario la mitad de eso debería ser el radio de la circunferencia chica y a la vez cumplir $$r=\dfrac{\sqrt{2}-1}{4}$$ respecto del mismo lado unitario
Así debería cumplirse la igualdad pero ocurre que $$ \dfrac{\sqrt{2}-1}{4}\neq\dfrac{\sqrt{2}+1}{4}\sin 10$$ esto es $$ 0.1035\neq0.1043$$ entonces no entran 18 justas y dos circunferencias chicas no resultan tangentes entre sí.
El área que pides dividida el lado del cuadrado es $$A/L=\pi (\sqrt2^2/4-1/4)-18\cdot \pi (\dfrac{\sqrt2-1}{4})^2=\dfrac{\pi}{2}-\dfrac{9\pi}8 (3-2\sqrt2)\cong \pi0.3069=0.9644$$
Si indicas el lado del cuadrado o si deseas esa medida sea calculable sabiendo que el radio de circunferencia chica= 12.8 puedo calcular numericante el lado del cuadrado y de ahí el área que pides. Creo que $$ A = 119.26cm^2$$