Так как a - b =1; ⇒ a= b+1;Подставим в выражение вместо а.
(b + 1 )^2 - 4b(b+1) -3b^2= b^2 + 2b+1-4b^2 -4b -3b^2= - 6 b^2 - 2b +1;
Исследуем получившуюся функцию на экстремумы:
y = - 6b^2 - 2b +1;
y '(b) =-12 b -2;
y ' =0; ⇒ -12 b - 2 =0;
-12b = 2;
b = -1/6 . Нарисуем коорд. прямую, проставим знаки плюс и минус справа налево. Тогда на интервале от минус бесконечности до минус одной шестой функция возрастала, а после
минус одной шестой возрастала, ТО есть b= - 1/6 - точка точка максимума. Найдем а. а = b+1= - 1/6 +1 =5/6 Ответ а= 5/6; b = -1/6