Решение не сложно, но требует знаний особенностей решения неоднородных линейных уравнений.
Начнём.
1. Сначала ищется общее решение(оно получается с произвольными константами), затем, для решения задачи Коши в это решение подставляются начальные условия, в результате, как правило, получается алгебраическая система уравнений, из которой и находятся конкретные значения этих коэффициентов.
2. Общее решение неоднородного линейного уравнения, как правило, ищется в виде Y=Yо+Yч, где Yо- ОБЩЕЕ решение однородного уравнения, Yч-ЧАСТНОЕ решение общего уравнения.
3. Займёмся однородным уравнением.
Оно в нашем случае имеет вид
у"-2*у'=0
действуя по общей схеме, составляем характеристическое уравнение
Л^2-2*Л=0, откуда
Л=2, Л=0, а значит, ОБЩЕЕ решение нашего однородного уравнения имеет вид
Yо=С1*exp(2*х)+С2
4. Теперь попробуем найти ЧАСТНОЕ решение нашего уравнения.
Поглядим на правую часть
6*х*(1+х)^2=6*х^3 + 12*x^2 + 6*x это многочлен 3 степени.
Частное решение будем искать тоже в виде многочлена, но 4 степени(просто слева в нашем уравнении отсутствует У, поэтому степень нужно повысить), то есть в виде
Yч=A*x^4 + B*x^3 + C*x^2 + D*x + E
Подставим это наше исходное уравнение и получим
Y'ч = 4*A*x^3 + 3*B*x^2 + 2*C*x + D
Y"ч = 12*A*x^2 + 6*B*x + 2*C
Y"ч-Y'ч = (-4*A)*x^3 + (12*A - 3*B)*x^2 + (6-2*C) + (2*C-D)
Приравнивая коэффициенты при одинаковых степенях этого многочлена и нашего в правой части, получим систему
-4*A=6
12*A - 3*B = 12
6 - 2*C = 6
2*C-D = 0
Её очень легко решить, получив
А=-3/2; B=-10; C=0; D=0;
таким образом ЧАСТНОЕ решение нашего уравнения имеет вид
Yч = (-3/2)*x^4 - 10*x^3
5 А ОБЩЕЕ решения нашего исходного уравнения вид
Y = Yо + Yч = С1*exp(2*х)+С2 + (-3/2)*x^4 - 10*x^3
6 Теперь займёмся задачей Коши.
у(0)=0; у'(0)=1;
Так как Y' = 2*С1*exp(2*x) - 6*x^3 - 30*x^2, получим систему
Y(0) = C1 + C2 = 0
Y'(0) = 2*C1 = 1, откуда
С1 = 1/2; С2=-1/2.
7 Всё!! Мы решили исходную задачу и решение задачи Коши исходного уравнения имеет вид.
Y = (1/2)*exp(2*х) - (1/2) + (-3/2)*x^4 - 10*x^3
И, наконец, не списывайте решение, а попробуйте САМИ его получить, следуя инструкциям. Я не исключаю, что мог допустить некоторые арифметические неточности.
Успехов.