Разложим на множители знаменатель: x²-11x+24=(x-8)(x-3). Это можно сделать приравниванием уравнения к нулю.
x²-11x+24=0
D=11²-4*24=121-96=25
x1=(11+5):2=8
x2=(11-5):2=3
Так как уравнение раскладывают на множители вот так:a(x-x1)(x-x2) то в данном случае получаем (x-8)(x-3).
Переходим к числителю. Тут просто: x²-64=(x-8)(x+8) Объяснений тут не надо, везде поймут.
Получаем: 
.
Дальше сокращаем и получаем 
.