Для удобства можно сделать замену:
a = 1/x
b = 1/y
-------------
a+b = 3/2 --- можно просто выразить (а) например...
a^2 + b^2 = 5/4
-------------------
a = 3/2 - b
(3/2 - b)^2 + b^2 = 5/4
9/4 - 3b + b^2 + b^2 = 5/4
2b^2 - 3b + 1 = 0
D = 9-4*2 = 1 ---> (b)1;2 = (3+-1)/4
b = 1 ----- a = 1/2
b = 1/2 ----- a = 1
вернемся к (х) и (у)
x = 1/a = 2 ----- y = 1/b = 1
x = 1 ----- y = 2