Самый простой путь - найти синус угла между сторонами, равными 5 и 8, через площадь треугольника. sinγ=2S/ab.
дальше находишь cos=√(1-sin²γ) (то, что треугольник остроугольный и углы у него острые дает нам положительный косинус - это очень важно)
дальше по теореме косинусов находишь третью сторону c=√(a²+b²-2abcosγ)
тебе осталось лишь вычислять)