1) Кажется, здесь опечатка, должен быть плюс.
a^2*b^2 - a*b^2 + ab - a^2 = (a^2*b^2 - a^2) - (a*b^2 - ab) =
= a^2*(b^2 - 1) - ab(b-1) = a^2*(b-1)(b+1) - ab(b-1) =
= a(b-1)(a(b+1) - b) = a(b-1)(ab+a-b)
2) (a+b)(a-b)^3 - (a-b)(a+b)^3 = (a+b)(a-b)*[(a-b)^2 - (a+b)^2] =
= (a+b)(a-b)(a-b-a-b)(a-b+a+b) = (a+b)(a-b)(-2b)*2a = -4ab(a+b)(a-b)
3) a(a+2) + b(b+2) - 2(a+1)(b+1) + 1 = a^2+2a+b^2+2b-2ab-2a-2b-2+1 =
= (a^2-2ab+b^2) - 1 = (a-b)^2 - 1 = (a-b-1)(a-b+1)