Вы всё решили правильно, но почему-то указав в фигурных скобках область определения выражения x^2-8x>0 не довели это до конца, поэтому преподаватель совершенно правильно указал Вам на Вашу "забывчивость".
0\\x^{2}-8x-9=0 \end{cases}" alt="\begin{cases} x^{2}-8x>0\\x^{2}-8x-9=0 \end{cases}" align="absmiddle" class="latex-formula">
0\\x_{1}=9, x_{2}=-1 \end{cases}" alt="\begin{cases} x(x-8)>0\\x_{1}=9, x_{2}=-1 \end{cases}" align="absmiddle" class="latex-formula">
+ - +
____________ 0 _________________ 8 ___________________
Теперь видно, что полученные ответы входят в область определения.