Hola mazuro
No entiendo bien el problema, porque no lo explicas, me refiero a que nos das un dibujo nada más. ¿El triángulo equilátero debe tener dos de sus vértices en la circunferencia y el tercero pertenecer al círculo? ¿O cómo debe ser el tercer vértice?
Para mí el área máxima será cuando los tres vértices estén en la circunferencia. Considera que el área de un triangulo depende de su base y altura. Esto lo digo suponiendo que el tercer vértice puede ser un punto del círculo o de la circunferencia.
Y si el triángulo tiene área cero no es un triángulo.