A² - 2ab - 3b²
Представим -3b², как b² - 4b² (то же самое)
a² - 2ab + b² - 4b²
Выделим квадрат из a² - 2ab + b² по формуле квадрата разности. Выделим квадрат из 4b² по свойству степеней
(a - b)² - (2b)²
Разложим на множители по формуле разности квадратов
(a - b - 2b)(a - b + 2b)
Приведем подобные
(a - 3b)(a + b)