Раскрыть скобки (2i-j)*j+(j-2k)*k+(i-2k)^2
2ij-j^2 + kj-2k^2 + i^2-2i*2k+2k^2 дальше приводи подобные
там в ответах должно быть 2. (i, j,k-это единичные вектора)
приводи подобные и решай