первое, что нужно ---вынести общий множитель...
-2*(a^2 + b^2)
формулы "сумма квадратов" не существует... но выражение в скобках ---часть другой формулы: "квадрат суммы (или разности)" --- не хватает только удвоенного произведения...
-2*(a^2 + b^2) - 4ab + 4ab = -2*(a^2 + b^2 + 2ab) + 4ab = -2*(a + b)^2 + 4ab
что и требовалось...