это же система из двух уравнений...
можно, например, сложить оба уравнения... получим
x + ay - ax + y = 0
y(a+1) = x(a-1)
y = x * (a-1)/(a+1)
подставим это выражение в любое уравнение...
х + а*x * (a-1)/(a+1) = 1+a^2
x*(1 + (a^2-a)/(a+1)) = 1+a^2
x*(1+a^2)/(a+1) = 1+a^2
x = a+1
y = a-1