P(x) = (a+b)*x^5 + ab*x^2 + 1
x^2 - 3x + 2 = (x - 1)(x - 2)
Если наш многочлен P(x) делится на x^2-3x+2, то x1=1 и x2=2 - его корни.
{ P(1) = (a+b)*1 + ab*1 + 1 = a + b + ab + 1 = 0
{ P(2) = (a+b)*32 + ab*4 + 1 = 32a + 32b + 4ab + 1 = 0
Подставляем ab из 1 уравнения во 2 уравнение
32a + 32b + 4(-a - b - 1) + 1 = 0
28a + 28b - 3 = 0
28(a + b) = 3
b = 3/28 - a
Подставляем в 1 уравнение
3/28 + a(3/28 - a) + 1 = 0
Умножим все на 28
3 + 3a - 28a^2 + 28 = 0
28a^2 - 3a - 31 = 0
D = 3^2 - 4*28(-31) = 9 + 3472 = 3481 = 59^2
a1 = (3 - 59)/56 = -56/56 = -1; b1 = 3/28 - a = 3/28 + 1 = 31/28
a2 = (3 + 59)/56 = 62/56 = 31/28; b1 = 3/28 - 31/28 = -28/28 = -1
Ответ: a и b равны -1 и 31/28