X+y=12
8x+7y=xy
x=12-y
8(12-y)+7y=(12-y)y
96-8y+7y=12y-y2
y2-13y+96=0
дискриминант 169-384 меньше 0
решений нет
xy=12
8x+7y=xy
8x+7y=12
x=(12-7y)/8
y(12-7y)/8=12
12y-7y2=96
7y2-12y+96=0
дискриминант меньше 0
решений нет
чтото получается решений нет в действительных числах
в комплексных есть Вы проходили комплексные числа?