Наименьший угол находится напротив наименьшей стороны.
По теореме косинусов:
5² = 6² + 8² - 2·6·8 · cos α
25 = 100 - 96 cos C
96cosC = 100 - 25
96cosC = 75
cos C = 75 : 96
cos C = 25/32 = 0.78125
1. округляем до тысячных
cos C ≈ 0.781
2. ∠C= 38,62483287305296187051831982154°
округляем до целых
∠C ≈ 39°