Как решить уровнение y"- 5y' +6y =(18x+21)e^3x

Найдем сначала общее решение соответствующего однородного уравнения:
$y''-5y'+6y=0$
Пусть $y=e^{kx}$ , тогда получим характеристическое уравнение:
$k^2-5k+6=0\\k_1=2;~~~k_2=3$

Общее решение однородного уравнения: $\overline{y}=C_1e^{2x}+C_2e^{3x}$

Рассмотрим функцию $f(x)=(18x+31)e^{3x}$ , где $P_n(x)=18x+31~~\Rightarrow~~~ n=1$ и $\alpha =3$

Сравнивая $\alpha$ с корнями характеристического уравнения, и принимая во внимания, что n=1 частное решение будем искать в виде:
$\widetilde{y}=xe^{3x}(Ax+B)=Ax^2e^{3x}+Bxe^{3x}\\ \\ y'=2Axe^{3x}+3Ax^2e^{3x}+Be^{3x}+3Bxe^{3x}\\ \\ y''=2Ae^{3x}+6Axe^{3x}+6Axe^{3x}+9Ax^2e^{3x}+3Be^{3x}+3Be^{3x}+9Bxe^{3x}$

Подставив в исходное уравнение и приравнивая коэффициенты при степени х, получим система уравнений

$\displaystyle \left \{ {{2A=18} \atop {2A+B=31}} \right. ~~~\Rightarrow~~ \left \{ {{A=9} \atop {B=13}} \right.$

Частное решение: $\widetilde{y}=xe^{3x}(9x+13)$

Общее решение неоднородного уравнения:
$y=\overline{y}+\widetilde{y}=C_1e^{2x}+C_2e^{3x}+xe^{3x}(9x+13)$