Пусть О - центр сферы. Если треугольник вписан в окружность, и его сторона AB является диаметром, то он прямоугольный, и его площадь будет максимальна, когда он равнобедренный, т.к. высота проведенная к гипотенузе максимальна, когда она равна радиусу. Значит объем пирамиды максимален, когда ABC и ADB - равнобедренные, причем их плоскости перпендикулярны. Тогда, если взять систему координат с ортами e1=OC, e2=OB, e3=OD, то вектор OB=(0;1;0), точки C=(1;0;0), M=(0;1/2;1/2), т.е. CM=(-1;1/2;1/2). Итак,
cos(CM,OB)=(CM·OB)/(|CM|·|OB|)=
=(-1·0+1/2·1+1/2·0)/(1·√(1²+(1/2)²+(1/2)²)=1/√6.