А^2-8ab-20b^2 разложите на множители
выделим полный квадрат
а^2-2*a*4b+16b^2-36b^2=(a-4b)^2-36b^2=(a-4b-6b)*(a-4b+6b)=(a-10b)*(a+2b)