Ммм, вы интересовались формулой, так я вам ее говорю)
Сначала находите по теореме косинусов равнодействующую любых двух сил
√(F₁² + F₂² + 2F₁F₂cos120)
Потом внезапно оказывается, что равнодействующая этих двух сил и сила три лежат на одной прямой, и вы просто отнимаете меньшее от большего и получаете ваш ответ) Готово)