Под корнем можно выделить полный квадрат...
12 - 6*V3 = 12 - 2*3*V3 = (3 - V3)^2
второе слагаемое --- это удвоенное произведение "первого на второй" из формулы "квадрат разности"...
т.е. (3 - V3)^2 = 3^2 - 2*3*V3 + (V3)^2 = 9 - 6V3 + 3 = 12 - 6V3
итак, ( V (12-6V3) - 3 )^2 = ( V ((3-V3)^2) - 3 )^2 = ( 3-V3 - 3 )^2 = (-V3)^2 = 3
точнее: V ((3-V3)^2) = | 3 - V3 | = 3 - V3, т.к. 3 > V3