V=(40-X)(64-X)X - функция.
найти максимум, х∈(0, 40).
найдем производную от V=(40-X)(64-X)X=х³-104х²+2560х
она равна 3х²-208х+2560
найдем стационарные точки , приравняв производную к 0 , и решив кв. ур-ние 3х²-208х+2560=0
1) х=(104+√(104²-3·64·40))/3=(104+√((8·13)²-3·64·40)))/3=
=(104+√(8²(13²-3·40)))/3=(104+8√(13²-3·40))/3=(104+8√(169-120))/3=
=(104+8·7)/3=160/3
2) х=(104-√(104²-3·64·40))/3=(104-56)/3=16
ОСТАЛОСЬ по достаточному условию экстремума убедиться, что х=16 - точка максимума, проверяем знаки производной при переходе через эту точку, решаем неравенство 3х²-208х+2560>0, или простыми вычислениями для значений х из соответствующих промежутков.)
вот как-то так...-))