Но, если понимать запись условия как у = х^2 * соs2x, то надо использовать формулу дифференцирования произведения двух функций: (f*g)'=(f)'g + f*(g)'. Тогда для данной функции получается так:
y' = (x^2)'*cos2x + x^2*(cos2x)' = 2х*cos2x + x^2*(- sin2x) = =2х*cos2x - x^2*sin2x.