Не понял, что значит фраза на 2 строке.
Замена √x = y > 0 при любом x, потому что корень арифметический,
тогда x = y^2
(y^2 - 3)*√2 - y = y^2 - 3
y^2*(√2 - 1) - y - 3(√2 - 1) = 0
Получили квадратное уравнение, хоть и с необычными коэффициентами.
D = 1 - 4(√2-1)*(-3)(√2-1) = 1 + 12(√2-1)^2 = 1 + 12(3-2√2) = 37 - 24√2
y1 = √x = (1 - √(37 - 24√2)) / (2√2-2) < 0 - не подходит.
y2 = √x = (1 + √(37 - 24√2)) / (2√2-2) - подходит.
Избавимся от иррациональности в знаменателе.
y = (1 + √(37-24√2))(2√2+2) / (8-4) = (1 + √(37-24√2))(√2+1) / 2
x = y^2 = (1 + √(37-24√2))^2 * (√2+1)^2 / 4