Наибольшее значение функции - в точке, где производная равна 0.
f ' (x) = 2(a+1)*cos (2x) - 2(a-3)*sin (2x) = 0
Делим всё на 2
(a-3)*sin (2x) = (a+1)*cos (2x)
tg (2x) = (a+1)/(a-3) = (a-3+4)/(a-3) = 1 + 4/(a-3)
x = 1/2*arctg (1 + 4/(a-3))
Наименьшее значение M(a) будет равно 2√2 при a = 1, то есть при
|a + 1| = |a - 3| = 2