Вы уверены что во второй части дано (3-3cosx^2) а не (3-3cos^2x)?
Если там (3-3cos^2x), то все благополучно решается:
ctg^2Х*(3-3cos^2x)
(cos^2x/sin^2x)*sin^2x (в левой части косинус преобразовали; в правой сделали по осн.триг.тож: sin^2x+cos^2x=1 => 1-1cos^2s (тройка не влияет))
(cos^2x/sin^2x)*sin^2x = cos^2x
т.к cosx=0.1 , то cos^2x = 0.01 (если не ошибаюсь =) )