Чтобы легче было на это смотреть обозначить s=√x и t=√y. Тогда система становится 2(s+t)=3st и s^2+t^2=5. Возводим первое уравнение в квадрат и заменяем в нем s^2+t^2 на 5. Если после этого сделать замену z=st, то получим квадратное уравнение 9z^2-8z-20=0, откуда z=2 и z=-10/9, которое не подходит, значит z=st=√(xy)=2, т.е. xy=4. Дальше уже все просто: решения (1, 4) и (4,1).