Насколько я понял x и y независмые переменные (т.е. y - не функция от x), тогда:
найдем ![d, d^2 d, d^2](https://tex.z-dn.net/?f=d%2C%20d%5E2)
![d(6x^2 -7xy+2y^2+6x-3y) = (12x-7y+6)dx + (-7x +4y-3)dy\\\\d^2(6x^2 -7xy+2y^2+6x-3y)=d((12x-7y+6)dx + (-7x +4y-3)dy)=12dx^2 +(-7-7)dxdy +4dy^2 = 12dx^2 -14dxdy +4dy^2\\ d(6x^2 -7xy+2y^2+6x-3y) = (12x-7y+6)dx + (-7x +4y-3)dy\\\\d^2(6x^2 -7xy+2y^2+6x-3y)=d((12x-7y+6)dx + (-7x +4y-3)dy)=12dx^2 +(-7-7)dxdy +4dy^2 = 12dx^2 -14dxdy +4dy^2\\](https://tex.z-dn.net/?f=d%286x%5E2%20-7xy%2B2y%5E2%2B6x-3y%29%20%3D%20%2812x-7y%2B6%29dx%20%2B%20%28-7x%20%2B4y-3%29dy%5C%5C%5C%5Cd%5E2%286x%5E2%20-7xy%2B2y%5E2%2B6x-3y%29%3Dd%28%2812x-7y%2B6%29dx%20%2B%20%28-7x%20%2B4y-3%29dy%29%3D12dx%5E2%20%2B%28-7-7%29dxdy%20%2B4dy%5E2%20%3D%2012dx%5E2%20-14dxdy%20%2B4dy%5E2%5C%5C)
в точке экстремума дифференциал должен быть равен 0
Находим точки подозрительные на экстремум:
![\left \{ {{12x-7y+6=0} \atop {-7x +4y-3=0}} \right. \left \{ {{12x-7y+6=0} \atop {-7x +4y-3=0}} \right.](https://tex.z-dn.net/?f=%5Cleft%20%5C%7B%20%7B%7B12x-7y%2B6%3D0%7D%20%5Catop%20%7B-7x%20%2B4y-3%3D0%7D%7D%20%5Cright.)
Получаем решения ![x=3,y=6 x=3,y=6](https://tex.z-dn.net/?f=x%3D3%2Cy%3D6)
Теперь смотрим на матрицу второго дифференциала
![\left(\begin{array}{ccc}12&-7\\-7&4\end{array}\right) \left(\begin{array}{ccc}12&-7\\-7&4\end{array}\right)](https://tex.z-dn.net/?f=%5Cleft%28%5Cbegin%7Barray%7D%7Bccc%7D12%26-7%5C%5C-7%264%5Cend%7Barray%7D%5Cright%29)
Она отрицательно опрделенная, т.к.
0, \left|\begin{array}{ccc}12&-7\\-7&4\end{array}\right| = 48 - 49 = -1 < 0" alt="12 > 0, \left|\begin{array}{ccc}12&-7\\-7&4\end{array}\right| = 48 - 49 = -1 < 0" align="absmiddle" class="latex-formula">
Значит x=3, y=6 - точка экстремума, а точнее точка максимума