Извлечение корня из числа это действие обратное возведению в степень (как например деление это обратное действие умножению).
Что бы ввести чисто под знак корня, его надо возвести в сепень который соответствует корню (если корень квадратный то возводим во вторую степень, кубический - в третью и тд).
Ваши примеры:
ab√(b/a)=√(a²b²*b/a)=√(a*b³)=b√ab
-х²√5=-√(5х^4) х в четвертой степени
-ab√(1/a+1/b)=-√(a²b²(1/a+1/b))=-√(ab²+a²b)=-√(ab(b+a))