Что это за формула под корнем?для нахождения расстояния между 2 точками?

Это длина вектора (скалярная).
У тебя даны точки, потом из этих точек составляет векторную длину. Например, векторная длина BC - это x2-x1;y2-y1;z2-z1
А для того чтобы найти скалярную длину, используют эту формулу.