Сначала во втором уравнении выражаешь любую переменную,например х, тогда получится:
Х^2 Y^2 + XY= 72
X = 6-Y
Дальше, подставляешь в первое уравнение это значение Х, чтоб в первом уравнении осталось только одна неизвестная переменная, получается:
(6-Y)^2 Y^2 +(6-Y)Y = 72
Далее решаешь это уравнение.
И получившееся значение Y, подставляешь во второе уравнение Х=6-Y и получаешь значение Х.