Найдите все пары (x;y), удовлетворяющие условию(10-2х-3у)в квадрате+(-х+5у-8)в квадрате...

Т.к. квадрат любого числа не отрицателен, то минимальным значением суммы нескольких квадратов чисел является 0.
Следовательно, мы получаем систему:
$\left \{ {{10-2x-3y=0} \atop {-x+5y-8=0}} \right.$
$\left \{ {{y=2} \atop {x=2}} \right.$