неправильно составлена система изначально
а и b- катеты треугольника и 13, т.е гипотенуза
и вторая система должна быть такой
a^2 +b^2=13^2 a^2+b^2=169
теперь выразим из первой системы чему равно а=7+в
и подставим во вторую
(7+b)^2 + b ^2 =169
раскроем скобки
49 + 14 b + b^2 + b^2 -169=0
2 b^2 +14 b -120=0
сократим все на 2
b^2+7b-60=0
D=289
b1=-12 b2=5
сторона не может же быть отрицательной, верно?
значит b=5
а а в свою очередь равна= 7+5 =12