Обозначим ху=а.Возведем первое выражение в квадрат:
х*х+у*у=а*а-2а
Тогда:
а*а-2а=4а
а=0 или а=6
Если а=0, то х=у=0. Такое решение подходит.
Если а=6
то (х-у)*(х-у)=12
х-у=2*sqrt(3) или х-у=-2*sqrt(3)
х+у=6
Ответ: х=0, у=0 или
х=3+sqrt(3) или х=3-sqrt(3)
у=3-sqrt(3) у=3+sqrt(3)