Выражение из под корня пытаешься представить в виде квадрата разности, чтобы потом вытащить из под кв. корня.
Формулы квадрата суммы и разности:
a^2+2ab+b^2=(a+b)^2
a^2-2ab+b^2=(a-b)^2
Когда квадратный корень сокращается со степенью, то выражение берется в модуль.
V(9-6V2+2)+V2=V(3-V2)^2+V2=|3-V2|+V2=3-V2+V2=3