Открываем скобки:
2x * x + 2x * 5 - 3 * x - 3 * 5 - 2 = 11 - (x^2 - 8x + 16);
2x^2 + 10x - 3x - 15 - 2 = 11 - x^2 + 8x - 16;
2x^2 + x^2 + 10x - 3x - 8x - 15 - 2 - 11 + 16 = 0;
3x^2 - x - 12 = 0;
D = b^2 - 4ac = 1 + 4*3*12 = 1 + 144 = 145;
x1 = (- b + √D)/2a = (1 + √145)/6;
x2 = (1 - √145)/6.