Квадратное уравнение не имеет корней когда его дискриминант отрицателен
D= b^2 - 4ac
D= 6^2 - 4(b-1)(b-3) = -4b^2 + 16b + 24
-4b^2 + 16b + 24 <0 или 4b^2 - 16b - 24>0
решим квадратное уравнение и воспользуемся методом интервалов
b^2 -4b - 6 =0
b1 = 2 - √10 b2=2+√10
условие выполняется при b<2-√10 b>2+√10