Hola
Por comodidad supongo la circunferencia de radio \( 1 \). Fíjate en el dibujo.

Por el teorema del los senos en el triángulo \( ABM \):
\( \dfrac{1}{sin(\widehat{ABM})}=\dfrac{AB}{sin(x)} \)
de donde:
\( \widehat{ABM}=arcsin\left(\dfrac{sin(x)}{AB}\right) \)
Análogamente del triángulo \( ACM \):
\( \widehat{ACM}=arcsin\left(\dfrac{sin(x)}{AC}\right) \)
Y ahora en el cuadrilátero \( MBAC \) tiene que cumplirse:
\( \widehat{ABM}+\widehat{ACM}+2x+\widehat{BAC}=2\pi \)
Sustituyendo:
\( arcsin\left(\dfrac{sin(x)}{AB}\right)+arcsin\left(\dfrac{sin(x)}{AC}\right)+2x+\widehat{BAC}=2\pi \)
Es una ecuación donde la única incógnita es \( x \). La cosa es que no puede despejarse explícitamente; pero si resolverse por métodos numéricos.
Una vez hallado \( x \) basta considerar el arco capaz sobre \( BC \) de ángulo \( 2x \) y cortarlo con la circunferencia original para obtener \( M \).
Saludos.
P.D. Tu método yo diría que es aún más bruto que el mío. Tomas \( 10^n \) puntos en la circunferencia y compruebas por fuerza bruta cual es el que da el triángulo con los lados más parecidos posibles.