Это просто
a = 1 - 2b, подставляем в формулу
y = ab = (1 - 2b)*b = b - 2b^2 = -2b^2 + b
Ветви параболы направлены вниз. Максимум находится в вершине
b0 = -b'/(2a')
Здесь -b'/(2a') - это не те b и a, которые в формуле, а коэф. квадр. уравнения
a'*x^2 + b'*x + c' = 0
a' = -2 (коэф. при квадрате), b' = 1 (коэф. при b, которое в формуле), c' = 0
b0 = -1/(2(-2)) = 1/4
a0 = 1 - 2*b0 = 1 - 2/4 = 1/2
Максимум ab = a0*b0 = 1/2*1/4 = 1/8