Если я правильно понял условие, то:
a^2+4b^2+2a+4b+2+4ab=a(a+4b)+4b(b+1)+2(a+1)=4a(b+0,25a)+2(2b(b+1)+(a+1))=2(2a(b+0,25a)+(2b(b+1)+(a+1)))
по идеенаименьшее значение выражениябудет равно2 (т.к. подставляем а=0, b=0) ну всё должно быть понятно, я всё расписал.