b^3+1=(b+1)(b^2-b+1)
Рассмотрим первый случай, когда НОД трёх чисел, равен множителю b+1.
1) Положим что
НОД(a-8, b^3+1, a^2+b) = m Тогда пусть a=mx-8, b=mz-1 тогда a^2+b=m(x^2+16x+z)+63 То есть НОД в данном случае должен быть делителем числа 63=9*7 , откуда максимальный m=9 (как максимальное)
2)
Рассмотрим случай когда m находится во множителе b^2-b+1=y тогда пусть НОД=m и
b^2-b+1-y=0
D=sqrt(1-4(1-y))=x^2 где x,y натуральные числа
4y-3=x^2
y=(x^2+3)/4 пусть x=x1+x2n тогда подставляя
(x1^2+2x1*x2*n+x2^2n^2+3)/4 тогда чтобы y было натуральным , x1=1 откуда x2=2 то есть x=2n+1 откуда y=n^2+n+1 значит b=n+1
Тогда все три числа равны , если НОД = m , то (m*t, (n+1)(n^2+n+1), (mt-8)^2+n+1) = (m*t , (n+1)(n^2+n+1) , 65+n)
То есть надо найти наибольшее НОД чисел ((n+1)(n^2+n+1), 65+n)
Вычтев с n^2+n+1-(65+n) = n^2-64 , тогда пусть 65+n=m*l , откуда n=m*l-65 значит
((n+1)(n^2+n+1), 65+n) = (n^2-64, n+65) = (m^2*l^2-130m*l+65^2-64 , m*l) то есть НОД m=65^2-64 = 4161
Ответ 4161 выполняется например при a=4169, b=4097