Коль скоро угол между векторами составляет 90 градусов, модуль "результирующего" вектора есть гипотенуза треугольника, в котором катеты - эти самые вектора.
Из теоремы Пифагора следует, что F^2 = F1^2 + F2^2,
где F = 13 H - модуль равнодействующей, F1 = 12 Н модуль первой силы, F2 - искомая.
Значит, F2 = Sqrt(F^2 - F1^2) = Sqrt(13*13 - 12*12) = Sqrt(169 - 144) = Sqrt(169 - 144) = Sqrt(25) = 5 H