Вычислить матрицу D=(AB)'-C^2 (штрихом тут обозначено транспонирование)
Посмотрите предложенное решение, оформление не соблюдалось.