Развернем для начала:
9x^2-48x+64-16x^2-48x+36+25x^2-4>96
Меняем знаки, где был перед скобками - :
9x^2-48x+64-16x^2+48x-36+25x^2-4>96
Сокращаем:
9x^2+64-16x^2-36+25x^2-4>96
18x^2+64-36-4>96
18x^2+24>96
18x^2>96-24
18x^2>72
x^2>4
|x|>2
Есть два варианта:
X>2 , X>=0
-X>2, X<0<br>Находим пересечение.
X E [2, +oo]
x < -2, x<0<br>x E [2, +oo]
x E [-oo , - 2]
Ответ : X E x E [-oo , - 2] U x E [2, +oo]