Скалярное произведение зададим по формуле
Здесь - след матрицы, то есть сумма диагональных элементов, - знак транспонирования. Соответственно квадрат длины вектора (то есть матрицы A) равен
Ортонормированным базисом будет, например, базис, состоящий из матриц, у которых на одном месте стоит 1, а на остальных местах стоят нули. Только нужно помнить, что базис - это УПОРЯДОЧЕННЫЙ набор векторов (естественно, линейно независимых, через которые можно линейно выразить любой вектор этого пространства), поэтому Вы должны указать, в каком порядке эти матрицы будете располагать. Скажем, сначала матрица , у которой в пересечении первой строчки и первого столбца стоит единица, а остальные нули, потом матрицы далее переходим на вторую строчку и так далее до последней матрицы .
В случае скалярное произведение задается по той же формуле, только у второй матрицы элементы нужно заменить на комплексно сопряженные:
.
А ортонормированный базис будут образовывать те же матрицы