(xy^2-2x-6)^2+(xy-3y+x-3)^2=0 - т.к. квадрат числа -это неотрицательное число, то сумма двух неотрицательных чисел равна нулю,тогда и толко тогда,когда оба этих чмсла равны нулю(квадраты можно не учитывать т.к. 
)
Составим и решим систему уравнений:
xy^2-2x-6=0
xy-3y+x-3=0
x(y^2-2)-6=0
y(x-3)+x-3=0
x(y^2-2)-6=0
(x-3)(y+1)=0
x(y^2-2)-6=0
x-3=0 ; y+1=0
x(y^2-2)-6=0
x=3 ; y=-1
1)3(y^2-2)-6=0
3y^2-6-6=0
3(y^2-4)=0
y^2=4
y=+-2
2)x((-1)^2-2)-6=0
x(-1)-6=0
x=-6
Ответ:(3;-2) ; (3;2) ; (-6;-1)