Есть простые способы решения этой задачи, но они используют векторное или смешанное произведение векторов, а также формулу для расстояния от точки до плоскости. Вкратце, уравнение плоскости можно получить, если сосчитать определитель третьего порядка, в первой строке которого стоят x, y, z; во второй - координаты вектора a; в третьей -координаты вектора b, и приравнять его к нулю Получится уравнение
x+2y+3z=0.
Формула, по которой находят расстояние от точки M_0(x_0;y_0;z_0) до плоскости Ax+By+Cz+D=0, выглядит так:
|Ax_0+By_0+Cz_0+D|/√(A^2+B^2+C^2)
В нашем случае получается |3+2-6|/√(1+4+9)=1/√14.
Но если хочется решить задачу более домашними методами, скажем, ограничивая себя скалярным произведением (оно же входит в школьную программу), то получается вот что. Координаты произвольной точки M на плоскости (совпадающие с координатами радиус-вектора этой точки; давайте вообще не будем различать точку и ее радиус-вектор) получаются из координат векторов a и b с помощью линейной комбинации: αa+βb=(2α+β;-α+β;-β), а тогда вектор
AM будет иметь координаты AM(2α+β-3;-α+β-1;-β+2). Надо подобрать α и β так, чтобы AM был перпендикулярен плоскости, тогда его длина даст расстояние от M до плоскости. Перпендикулярность плоскости равносильна перпендикулярности векторам a и b, что проверяется с помощью скалярного произведения. Получаем систему двух линейных уравнений, из которой находим α и β:
(AM,a)=5α+β-5=0
(AM,b)=α+3β-6=0,
откуда α=9/14; β=25/14.
Подставляя найденный значения α и β в вектор AM, получаем
AM=(1/14)(1,2,3)⇒|AM|=(1/14)√(1^2+2^2+3^2)=√14/14.
Ответ: √14/14