Это система уравнений (судя по всему)))
в первом уравнении можно вынести общий множитель за скобки:
36(b² - a²) = -576
b² - a² = -576/36
b² - a² = -16
b² = a² - 16 (a² - 16 ≥ 0 ---> a² ≥ 16)
подставим во второе...
16(a² - 16) + 36a² = a²(a² - 16) замена: t = a²
16t - 256 + 36t = t² - 16t
t² - 68t + 256 = 0 D=68²-4*256=60²
t1 = (68+60)/2 = 64 t2 = (68-60)/2 = 4
a² = 8² a² = 4 это посторонний корень))
a = -8; a = 8
b² = 64-16 = 48
b = 4√3; b = -4√3