Просто надо перемножить скобки в правой части равенства, а потом сопоставить коэффициенты у левой и правой частей.
(x-1)(x^4-ax^3+2x^2+2x+b)=x^5-ax^4+2x^3+2x^2+bx-x^4+ax^3-2x^2-2x-b=
x^5+(-a-1)x^4+(2+a)x^3+(2-2)x^2+(b-2)x-b=
x^5+(-a-1)x^4+(a+2)x^3+(b-2)x-b
Отсюда:
1=1,
-a-1=0,
a+2=1,
0=0,
b-2=0,
-b=-2
Из полученных равенств имеем: a=-1, b=2.
______________________________________
Решение проще:
1) Слева и справа подставим x=0. Получим:
0^5+0^3-2=(0-1)(0^4-a*0^3+2*0^2+2*0+b)
Отсюда -2=(-1)*b => b=2
2) Слева и справа подставим x=-1. Получим:
(-1)^5+(-1)^3-2=(-1-1)((-1)^4-a*(-1)^3+2*(-1)^2+2*(-1)+b)
-4=(-2)*(1+a+b)
a+b+1=2
a=1-b
Подставим b=2:
a=1-2=-1
Ответ: a=-1, b=2.