Объясните, почему получился такой ответ?Почему вышло ?Куда делось xdx?

Если угодно, разность между -1/(x(x + dx)) и -1/x^2 стремится к нулю (т.к. пропорциональна dx):
$-\dfrac1{x(x + dx)}-\left(-\dfrac1{x^2}\right)=\dfrac1{x^2}-\dfrac1{x(x+dx)}=\dfrac{x+dx-x}{x^2(x+dx)}=\dfrac{dx}{x^2(x+dx)}\to0$

А вообще, функция, предел которой надо найти, непрерывна, поэтому можно просто не раздумывая подставить dx = 0, получим
-1/(x(x+0)) = -1/x^2