1) Найдем координаты векторов АВ, ВС, СА. Чтобы найти координаты вектора, надо из координат конца вычесть соответствующие координаты начала, т.е.
АВ=(2-5;2-1)=(-3;1)
ВС=(0-2;1-2)=(-2;-1)
СА=(5-0;1-1)=(5;0)
2) Найдем ВС-СА. Для этого из координат вектора ВС вычтем соответствующие координаты вектора СА:
ВС-СА=(-2-5;-1-0)=(-7;-1)
3) Найдем скалярное произведение. Для этого соответствующие координаты векторов перемножим и найдем их сумму:
АВ(ВС-СА) =-3*(-7)+1*(-1)=21-1=20.