2b^2 четное, 6336 четное⇒a^2 четное⇒a четное; a=2c;
4c^2+2b^2=6336; сокращаем на 2;
2c^2+b^2=3168;
b=2d; 2c^2+4d^2=3168; c^2+2d^2=1584;
c=2f; 4f^2+2d^2=1584; 2f^2+d^2=792; d=2g;
2f^2+4g^2=792; f^2+2g^2=396; f=2m; 4m^2+2g^2=396;
2m^2+g^2=198; g=2n; 2m^2+4n^2=198; m^2+2n^2=99.
Ясно, что m - нечетное⇒m^2 может принимать значения 1, 9, 25, 49, 81;
99-m^2 будет принимать значения 99-1=98; 90, 74, 50,18;
(99-m^2)/2 будет принимать значения 49=7^2; 45≠n^2; 37≠n^2;
25=5^2; 9=3^2.
Таким образом, 99=1^2+2·7^2=7^2+2·5^2=9^2+2·3^2, то есть
(m;n)∈{(1;7); (7;5); (9;3)}
Вспомним, что a= 8m; b=8n⇒
Ответ: (a;b)∈{(8;56); (56;40); (72;24)}