В выражении Q(x-1) выразим правую часть через (x-1).
Q(x-1) = x^2-2x-1 = x^2-2x+1-2 = (x-1)^2 - 2
Q(x) = x^2 - 2
Подставляем в P(Q) и выражаем правую часть через Q(x) = (x^2 - 2)
P(Q) = P(x^2 - 2) = x^4 - 5x^2 + 7 = (x^4 - 4x^2 + 4) - (x^2 - 2) + 1 =
= (x^2 - 2)^2 - (x^2 - 2) + 1
P(x) = x^2 - x + 1