Вы там не верно разложили, это не квадрат разности а сумма в квадрате!
Легче всего эту задачу решить двигаясь По ОДЗ уравнения обоих уравнений
второе уравнение это график прямой , которая убывает на всей области Определения;
Так как первая функция это обратная парабола и она находиться на 2 четверти Плоскости ОХ, а график второй убывает ,то у них будет только две точки пересечения, одно из которых очевидно x=3,а вторая по графику видно равна ~5