Из 1 строки вычти вторую, получишь
х-у+3(√у-√х)=0
х+3√у=18
2)(√х-√у)(√х+√У)-3(√х-√у)=0
3)(√х-√У)(√х+√у-3)=0
4)√х-√у=0 или √х+√у-3=0
х+3√у=18 х+3√у=18
5)√х=√у √х=3-√у
у+3√у-18=0
√у=3 √у=-6- постороний корень
у=9 тогда х=9
запишу решение 2 системы √у=3-√х
х+3√у=18
х+9-3√х-18=0
х-3√х-9=0
D=9+4*9=45 √х=3+3√5/2
итак далее