Во-первых, любое число в степени 0,5 (или 1/2) - это корень из этого числа, выражение преобразовывается в такое:
(1 - 2√b/√a + b/a)/(√a - √b)²
В первой скобке видим квадрат разности, то есть:
(1 - 2√b/√a + b/a)/(√a - √b)² = (1 - √b/√a)²/(√a - √b)²=
=((1 - √b/√a)/(√a - √b))²
Интересно, что дальше это выражение не упрощается никак. Но оно равно 1/a для любого b.