Это классика, решается интегрированием по частям.
S x^2 * cos(x) dx = [вносим cos(x) под дифференциал] =
= S x^2 d sin(x) = [формула интегрирования по частям] =
= x^2 * sin(x) - S sin(x) d x^2 = x^2 * sin(x) - 2*S x * sin(x) dx =
= [проделываем то же самое еще раз] =
= x^2 * sin(x) + 2* S x d cos(x) =
= x^2 * sin(x) + 2*x*cos(x) - 2*S cos(x) d x = [это уже легко] =
= x^2 * sin(x) + 2*x*cos(x) - 2*sin(x) + C =
= (x^2 - 2)*sin(x) + 2*x*cos(x) + C