Раскроем скобки по формулам: x²+20x+100+(x+6)²-2x²=0
-x²+20x+100+x²+12x+36=0
20x+100+12x+36=0
32x+136 =0(?) (Если оно не равно нулю, т.е. как изначально было у вас (х+10)²+(х+6)²-2х² и не равно ничему, то это конечная запись)
32x=-136
х=-136÷32
х=-17/4 или х=4,25 (Выбирайте значение в обыкновенной или десятичной дроби, в зависимости от того, как вам удобней)