Числитель разложили на множители. Использовали метод группировки.
ay + a^2 + by - b^2
Суть в том, чтобы сгруппировать слагаемые, похожие друг на друга по каким-то признакам. Сгруппируем первое с третьим слагаемым(они похожи друг на друга - в обоих входит y) и второе с четвёртым(они превосходно раскладываются по формуле разности квадратов):
(ay + by) + (a^2 - b^2) = y(a+b) + (a-b)(a+b)
А теперь видим, что множитель (a+b) 0 общий для всех слагаемых. Выносим его за скобку:
(a+b)(y + a - b), что и получили.