Выражение в левой части необходимо переписать:
x²+y²-2(x+4y)+17≥0
x²-2x+y²-8y+17≥0
x²-2x+1+y²-8y+16≥0
(x-1)²+(y-4)²≥0, откуда видно, что минимальное значение каждой скобки равно 0 (при х=1 и у=4), при остальных значениях х и у сумма квадратов всегда положительна.