Решаем уравнение:
x^2+(m-2)x-(m+3)=0
D = (m-2)^2 + 4(m+3) = m^2-4m+4+4m+12 = m^2 +16
x1 = [2-m + V(m^2 +16)] / 2, x2 = [2-m - V(m^2 +16)] / 2
Сумма квадратов корней:
x1^2+x2^2 = ([2-m + V(m^2 +16)]^2 + [2-m - V(m^2 +16)]^2) / 4 =
= [(2-m)^2 + 2*(2-m)*V(m^2 +16) + (m^2 +16) + (2-m)^2 - 2*(2-m)*V(m^2 +16) + (m^2 +16)] / 4 =
= [2*(2-m)^2 + 2*(m^2 +16)] / 4 = [(2-m)^2 + (m^2 +16)] / 2 = (4-4m+m^2+m^2+16) / 2 =
= (2m^2-4m+20) / 2 = m^2-2m+10.
Нам надо, чтобы эта сумма была минимальной. График квадратного уравнения - парабола, минимум которой находится в вершине, то есть в точке, где m = -b/2a = 2/2 = 1. Сама сумма равна S = 1-2+10 = 9.
Ответ: S = 9 при m = 1.