Общее решение однородного уравнения y''+4y=0 находится без труда: y0=C1*sin(2x)+C2*cos(2x).
Далее нужно использовать метод вариации постоянных, полагая, что С1 и С2 зависят от х. Для этого надо решить систему:
С1'*sin(2x)+C2'*cos(2x)=0
С1'*[sin(2x)]'+C2'*[cos(2x)]'=8*ctg2x