x^2+(b+1)x+b^2=1.5
x^2+(b+1)x+b^2-1.5=0
По т. Виета,
x1+x2=-(b+1),
x1*x2=b^2-1.5
Отсюда можно выразить x1^2+x2^2:
x1^2+x2^2 = (x1+x2)^2-2*x1*x2 = (-(b+1))^2-2*(b^2-1.5) =
b^2+2b+1-2b^2+3 = -b^2+2b+4.
Получим, что сумма квадратов корней исходного уравнения изменяется квадратично в зависимости от b:
f(b)=-b^2+2b+4 - парабола с ветвями вниз, имеющая наибольшее значение в вершине.
b верш = -2/(2*(-1))=1.
То есть при b=1 сумма квадратов корней исходного уравнения является наибольшей.