По условию x^3+2nx^2+mx+5 делится на x^2-1. Из этого следует, что это выражение можно представить в виде x^3+2nx^2+mx+5=(x^2-1)*k, где k - какое-то выражение, являющееся частным от деления. Чтобы было понятнее, приведу пример: можно говорить о том, что выражение 2x^4-10x^3+6x+8 делится на 2, потому что его можно представить в виде 2(x^4-5x^3+3x+4). Аналогично для исходного выражения. Тогда я пытаюсь представить в таком виде при помощи группировки: x^3+mx+2nx+5=x(x^2+m)+2n(x^2+2n/5). Чтобы привести к нужному нам виду, ясно, что m должно быть равно -1 (тогда (скобка x^2+m будет иметь нужный нам вид x^2-1) и 2n/5 должно быть равно -1, т.е. n=-2,5. Тогда исходное выражение будет иметь вид: x^3-5x^2-x+5. Проверим, делится ли оно на x^2-1. Да, делится, будет получаться x-5 (можете проверить). Тогда m+n=-1+(-2,5)=-3,5
По сути, решено подбором, но вроде все правильно