Очень легко!
Для начала раскрываешь скобки:
(x - 3)^2 < x(x - 5)
x^2 - 6x + 9 < x^2 - 5x, сокращаем x^2, переносим x в левую, а целые числа в правую, получится:
-x < -9 (умножаем на -1, при этом знак изменяется на противоположный)
x > 9
Что и требовалось доказать.