400 музыкантов.
Здесь пришлось поработать с натуральными числами.
Пусть сторона квадрата Х. Обозначим число рядов, на которое уменьшилась сторона квадрата как А. Отсюда следует, что стороны прямоугольника стали равны (Х-А) и (Х+5). Из равенства площадей получаем, что 5*(Х-А) =Х*А ==> Х=5*А/(5-А)
Т. к. А, Х принадлежат ряду натуральных чисел, отсюда следует, что данному равенству удовлетворяет значение А равное только 4. ==> Х=20, следовательно число музыкантов в оркестре Х*Х=20*20=400 человек.