Может, решение громоздкое получилось, но другое как-то не придумалось
Через подобные треугольники и формулу хорды.
Из точки М опускаем перпендикуляр на сторону АС, точку пересечения обозначим через Р. Треугольник АМР подобен треугольнику АВС, откуда АР/АС=АМ/АВ=9/25. Отсюда находим АР=27/25 см.
Теперь обозначаем через О середину стороны АС (т. е. центр окружности) и рассматриваем треугольник ОМР с прямым углом Р. Находим для этого треугольника угол О через его косинус:
ОР=АО-АР=ОМ*cosO, отсюда cosO=7/25.
Теперь найдём хорду АМ, по формуле хорды АМ=2*ОМ*sin(O/2). По формулам приведения sin(O/2)=sqrt((1-cosO)/2)=3/5, поэтому получаем АМ=1,8 см. По пропорции АМ/АВ=9/25 получаем АВ=5 см. По теореме Пифагора ВС=4 см, тогда искомая площадь треугольника равна АС*ВС/2=6 см кв.