Это задача не на решение уравнений, а на нахождение скалярного произведения векторов. Вектор m имеет координаты Xm=Xa-4Xb=-1-4*3=-13, Ym=Ya-4*Yb=3-4*(-2)=11, вектор n - координаты Xn=2*Xb-Xa=6-(-1)=7, Yn=2*Yb-Ya=-4-3=-7. Скалярное произведение векторов m и n равно Xm*Xn+Ym*Yn =(-13)*7+11*(-7)=-168