Возведем обе части равенства в квадрат...
(15-х) + 2*V((15-x)(3-x)) + (3-x) = 36
2*V((15-x)(3-x)) = 18 + 2x
V((15-x)(3-x)) = 9 + x
еще раз возведем обе части равенства в квадрат...
45 - 18x + x^2 = 81 + 18x + x^2
36x = -36
x = -1
ПРОВЕРКА:
V16 + V4 = 4+2 = 6