Из города он может идти либо в сторону поселка либо наоборот, удаляясь от него.
За 4 часа он продет 20 км при скорости 5 км/ч.
Посему расстояние до поселка может быть либо 24-20=4 км, либо 24+20=44 км.
Чтобы ответ был один необходимо указать в первом предложении направление движения. Например, "Из города в сторону поселка..."