Все ли правильно в условии задания?
как косинус альфа в квадрате может равняться отрицательному значению?
может имеется ввиду просто косинус альфа?
если так, то
sin^2a + cos^2a = 1
sin^2a = 1 - cos^2a = 1 - (-3/5)^2 = 1 - 9/25 = 16/25
sina = +-sqrt(16/25) тк четверть вторая, синус +, косинус -
так что если искался синус, то sina = 4/5, если sin^2a = 16/25