У вас опечатка. Не может быть уравнения y = y - 1. Наверное, y = x - 1?
Подставляем его во второе уравнение
x^2 - (x - 1) = 5
x^2 - x - 4 = 0
D = 1 - 4(-4) = 17
x1 = (1 - √17)/2; y1 = x1 - 1 = (-1 - √17)/2
x2 = (1 + √17)/2; y2 = x2 - 1 = (-1 + √17)/2
Если же, наоборот, x = y - 1, то подставляйте его.
Это я вам оставлю для самостоятельного решения.