На скринах ошибка в 4 строке. В знаменателе должно быть (1+t)^3. Решение yugolovin верное. Но я на 100% уверен, что в условии опечатка и скорее всего, перед 12 должен быть +. В этом случае многочлен в конце превращается в b^4-2b^3+8b-16=(b-2)*(b^3+8) и все замечательно сокращается.