При каких значениях переменных выражение достигает своего наибольшего значения?

Значения тогда больше, когда знаменатель меньше (т.к. числитель не зависит от переменных)
В первом случае в знаменателе корень и модуль, которые не могут быть меньше 0, поэтому мы их занулим:
$\left \{ {{2x^2-xy-33=0} \atop {4x-y-17=0}} \right. \left \{ {{4x-17=y} \atop {2x ^2-x(4x-17)=33}} \right. \left \{ {{4x-17=y} \atop {-2x^2+17x-33=0}} \right. \left \{ {{4x-17=y} \atop {2x^2-17x+33=0}} \right. \\\\\left \{ {{4x-17=y} \atop {(x-3)(2x-11)=0}}\right.\\ \left \{ {{x=3} \atop {y=-5}} \right. \\or\\ \left \{ {{x=\frac{11}{2}} \atop {y=5}} \right.$
Во втором случае в знаменателе корень и квадрат, которые также не меньше нуля, поэтому и их мы занулим:
$\left \{ {{x-y-5=0} \atop {5x^2+2y+3=0}} \right. \left \{ {{y=x-5} \atop {5x^2+2x-10+3=0}} \right. \left \{ {{y=x-5} \atop {(x-1)(x+\frac{7}{5})=0 }}\right. \\ \left \{ {{x=1} \atop {y=-4}} \right.\\or\\ \left \{ {{x=-\frac{7}{5}} \atop {y=-\frac{32}{5}}} \right.$