раскрываешь скобки:
-b^2+2ab-2a^2+4
меняешь знак и сворачиваешь первые три слагаемых в полный квадрат.
(b-√(2)a)^2-4
Ищешь минимальное значение (так как знак поменяли).
I. Задача в действительных числых
Квадрат - неотрицателен. Наименьшее значение - ноль. Достигается при b=√(2)a. а-любое. Наименьшее значение нашего выражения =-4. Значит наибольшее исходного =4
II. Задача в мнимых числах
минимальное значение -∞. Достигается при b=√(2)a. а-мнимое. Наибольшее значение исходного =+∞