начинаем с области определения
11-b^2>=0 b^2<=11 -sqrt(11)<=b<=sqrt(11)</p>
находим D=(11-b^2)-(b-1)=-b^2-b+12>0
b^2+b-12<0</p>
находим корни
(-1+sqrt(1+49))/2=3
(-1-sqrt(1+49))/2=-4
при b=1 уравнение выраждается в линейное.
исключим точку из ответа
]-4;1[U]1;3[
sqrt(11)>3
-sqrt(11)>-4
Учитываем ООФ [-sqrt(11);1[U]1;3[