Применяя подходящую замену переменной, найти определённый интеграл.

В условии опечатка, там должно быть при a>0

Здесь работает тригонометрическая подстановка

$x=a\sin t$

$\displaystyle \int\limits^a_0 {x^2\sqrt{a^2-x^2}} \, dx =a^4 \int\limits^{\pi/2}_0 {\sin^2t\cos^2t} \, dt= \frac{a^4}{4} \int\limits^{\pi/2}_0 {\sin^22t} \, dt=\\ \\ \\ = \frac{a^4}{4} \int\limits^{\pi/2}_0 \frac{1-\cos4t}{2} \, dt= \frac{a^4}{8} \bigg(t- \frac{1}{4}\sin4t\bigg)\bigg|^{\pi/2}_0= \frac{\pi a^4}{16}$