Пусть x^2=x. Тогда уравнение примет следующий вид: x^2+11x-80=0.
Находим дискриминант: D=b^2-4ac=121+320=441.
Дальше решаешь как обычное квадратное уравнение и получаешь ответ. А полученные ответы возводишь в квадрат и подставляешь в уравнение ( чтобы проверить )