По каким формулам это произошло?

Смотри запятая в верху это похоже на взятие производной, судя по скрину ты ее не взял.( не полностью сфотографировал).

А дробь преобразовалась так, ты умножаешь на -2/3 а x^(3/2) ты должен записать в числитель, для этого берешь степень -1.