Чтобы найти значения а и b и чтобы ответ был (-3;5), нужно подставить в систему х=-3 и у=5.
Тогда систему примет вид
-3*а-(b+1)*5=4*a-17
(2*а-1)*(-3)+5*b=3*b
Равносильно системе
-7*а-5*b+22=0 <-> 10*b=44-14*а
-6*а+3+2*b=0 <-> 10*b=30*a-15
Тогда 44-14*а=30*а-15 <-> 44*а=59 <-> а=59/44
b=4,4-1,4*59/44=(259,6-82,6)/44=177/44