Для начала преобразовать выражение по формуле квадрата разности.. .
4x^2 – 12xy + 9y^2=(2x)^2 – 2(2x)(3y) + (3y)^2 тогда
4x^2 – 12xy + 9y^2 – 2x+3y – 2 = 0
(2x–3y)^2 – (2x–3y) – 2 = 0
если заменить (2x – 3y) переменной, например Z получим
Z^2 – Z – 2 = 0, решаете как обычное квадратное уравнение, находите корни и делаете обратную замену Z = (2x – 3y)
дальше решить не составит труда.. .