Смотри, все очень просто.
выражаешь sinx. т.е., первая строчка остается без изменений в системе а вторая: sinx = 3- 2cos^2y.
затем ты подставляешь это в первое:
3-2cos^2y - cosy = 0.
-2cos^2y - cosy + 3 = 0.
делаем замену
cosy = x
- 2 x^2 - x + 3=0 умножаешь на -1
у тебя получится два корня 1 и -3/2. их нужно будет подставить в cosy = 0.
собственно вот решение. второй по аналогии, удачи! )