Какое из четырех равенств не является тождеством x^3-64=(x-4)(x^2+4x+16)...

x^3-64=(x-4)(x^2+4x+16)

верно, так как разложено правильно

x^3+1=(x+1)(x^2-x+1)

верно,правильно разложено

x^2+6xy+3y^2=(x+3y)^2

неверно.

(x+3y)^2=x^2+6xy+9y^2

x^2-12x+36=(x-6)^2

верно

тут используются формулы

$a^3\pm b^3=(a\pm b)(a^2\mp ab+b^2) \\ (a\pm b)^2=a^2 \pm 2ab+b^2$