Геометрический способ:
S(AMB)=1/2MA·MB·sin(AMB)=(√3/4)MA·MB, т.к. ∠AMB=∠ACB=60°.
Отсюда MA·MB=4S(AMB)/√3 и аналогично из площадей треугольников AMC и СМВ получим MA·MC=4S(AMC)/√3, MC·MB=4S(СMВ)/√3.
По теореме косинусов для тех же треугольников:
AB²=MA²+MB²-MA·MB=MA²+MB²-(4/√3)·S(AMB);
AС²=MA²+MС²+MA·MС=MA²+MС²-(4/√3)·S(AMС);
СB²=MС²+MB²-MС·MB=MС²+MB²-(4/√3)·S(СMB).
Сложим эти равенства:
AB²+AС²+СB²=2(MA²+MB²+MС²)-(4/√3)·(S(AMB)-S(AMС)+S(СMB)).
Но AB=AС=СB=√3, и значит AB²+AС²+СB²=3+3+3=9,
S(AMB)+S(СMB)-S(AMС)=S(ABC)=(3√3)/4.
Поэтому 9=2(MA²+MB²+MС²)-(4/√3)·(3√3)/4, т.е.
MA²+MB²+MС²=(9+3)/2=6.
Тригонометрический способ:
Если R - радиус, О - центр окружности и ∠AOM=2x, то MА=2Rsin(x), MB=2Rsin(60°+x), MC=2Rsin(60°-x). Значит
MA²+MB²+MС²=4R²(sin²(x)+sin²(60°+x)+sin²(60°-x)).
После раскрытия синусов суммы и упрощения получим 6R², что и требовалось.