Вы уверены, что по условию задачи косинус угла А равен 51/10? Косинус острого угла в прямоугольном треугольнике не может быть больше единицы.
А вооьще подобная задача решается очень легко. Синус угла В будет равен сосинусу угла А, тк = AC/AB. Далее по основному тригонометрическому тождеству 
находишь косинус угла В. Все, задача решена.
upd:
если c
то 