Найдем векторы BA=(3-0;9-6)=(3;3) и BC=(4-0;2-6)=(4;-4). Их скалярное произведение равно 3·4+3·(-4)=0⇒ угол между ними прямой. Значит, треугольник прямоугольный.
Между прочим, если нарисовать этот треугольник на клетчатой бумаге, его прямоугольность очевидна и без всякого скалярного произведения.