Ahora debo salir pero para resolver mediante el método propuesto por el maestro Ignacio, simplemente escribo las lineas:
ab=b-a;
bc=c-b;
mab=0.5*(a+b);
mbc=0.5*(b+c);
A=[(cross(ab,bc))';ab;bc]
b=[dot((cross(ab,bc))',a);dot(ab,mab);dot(bc,mbc)];
centro=inv(A)*b
Donde a, b, c son los puntos dados en forma de vector.
Saludos