Из системы уравнений получается обычное квадратное уравнение (3x^2-16x+21=0) , в ходе которого получаются корни x1=3 и x2=7/3. После подстановки мы получаем два y: y1=- 2 и y2= -2/3. Т.е. решение данной системы - x1=3, x2=7/3, y1=-2, y2=-2/3.
P.S. Если вы видете степень над переменной, то наибольшая степень неизвестной равна количеству возможных корней переменной (т.е. если есть x^3 то, возможно, (скорее всего) будут 3 корня ( но не всегда так), если x^4 , то 4 ... ).