На мой взгляд, чтоб не мучаться с формулой производной произведения, лучше сначала преобразовать исходную функцию к многочлену стандратного вида:
(x-5)^2(2x+8) = (x^2-10x+25)(2x+8)=2x^3+8x^2-20x^2-80x+50x+200=2x^3-12x^2-30x+200
(2x^3-12x^2-30x+200)' = 6x^2-24x-30=6(x^2-4x-5)