У тебя уравнение
x^2 - 6x + 5 = a
Тебе не надо находить D у исходной левой части, тебе надо найти D у всего уравнения. Перепишем его так
x^2 - 6x + (5-a) = 0
D/4 = 3^2 - 1(5-a) = 9 - 5 + a = 4 + a
Если у этого уравнения два корня, то D/4 > 0
4 + a > 0
a > -4
Наименьшее целое а, при котором будет два корня
а = -3.