Обозначим сторону квадрата за х, тогда одна сторона полученного прямоугольника будет (х+6). другая (х-4). Говорится, что площадь полученного прямоугольника равна 11 см^2, значит
(x-4)*(x+6)=11
x^2+2x-24=11
x^2+2x-35=0
D=b^2-4*a*c=4-4*(-35)=4+140=144
x₁= (-b+√D)/2a= (-2+12)/2=5;
x₂= (-b-√D)/2a= (-2-12)/2= -7;
Cоответствено, сторона квадрата равна 5 см.
p.s. теорема Виетта всё-таки понадобилась)