Умножим числитель и знаменатель на (х - 1) и воспользуемся формулой разности n-ых степеней:
(х^38 + х^37 + ... + х + 1)/(х^12 + х^11 + ... + х + 1) = (х - 1)(х^38 + х^37 + ... + х + 1)/(х -1)(х^12 + х^11 + ... + х + 1) = (х^39 - 1)/(х^13 - 1) = ((х^13)^3 - 1)/(х^13 - 1) = (х^13 - 1)(х^26 + х^13 + 1)/(х^13 - 1) = х^26 + х^13 + 1