Делаем подстановку. Из первого уравнения
у = 3/х подставляем во второе уравнение.
3х- 3/х = 6 или 3х^2 - 6x + 3 =0
Решаем квадратное уравнение и получаем два корня.
x1= 2.414214 и y1=3/x=1.242641
и второй
x2= -0.41421 и y2= -7.24264
вот такие решения у этой системы уравнений.