Ну как, как. .
Допустим A = {{a, b}, {c, d}} и B = {{e, f}, {g, h}}
A * B = {{ a * e + b * g, a * f + b * h}, {c * e + d * g, c * f + d * h}}
ну и видите, что в данном случае должно выполняться требование
a * e + b * g = 0
a * f + b * h = 0
c * e + d * g = 0
c * f + d * h = 0
Если одна из матриц задана, то из системы уравнений находите значения второй матрицы.