Производную берём по правилам дифференцирования произведения:
y' = (x^2)' * arctg(5x) /2 + (x^2)* (arctg(5x))' /2 =
= 2*x * arctg(5x) /2 + (x^2) * (5 / (25x^2 + 1)) /2 =
= x * arctg(5x) + (5/2) * x^2 / (25x^2 + 1)
При взятии производной от арктангенса использовалось правило дифференцирования сложных функций, т.к. под знаком арктангенса не просто икс, а пять икс. Поэтому домножалось на производную (5x)' = 5.
А производная от арктангенса - табличная производная.