При работе с комплексными числами надо помнить одно: i² = -1. А в остальном, как в алгебре.
а)-3i/(3 - 3i√3) = -3i(3 + 3i√3)/(3 - 3i√3)(3 + 3i√3) = (-9i-9i²√3)/(9 - 27i²) =
= (9√3 -9i)/36 =(√3 - i)/4
б)-3i(3 - 3i√3) = -9i + 9i²√3 = -9√3 - 9i
в)(3 - 3i√3)² = 9 - 18i√3 + 27i² = -18 -18i√3