Был призван в армию в 1913 году, во время Первой мировой войны воевал рядовым на Юго-Западном и Румынском фронтах. После Октябрьской революции 1917 года в звании унтер-офицера вернулся домой. Весной 1918 организовал партизанский отряд для борьбы против немецких частей, оккупировавших Луганщину. Впоследствии отряд влился в Красную Армию.
В годы гражданской войны Ерёменко воевал в 1-й Конной армии С. М. Будённого, был красноармейцем, помощником командира взвода, старшиной эскадрона, начальником разведки кавалерийской бригады, помощником начальника штаба этой же бригады по оперативной части, начальником полковой школы, начальником штаба 79-го кавалерийского полка в 1-й бригаде 14-й кавалерийской дивизии Первой конной армии.
А. И. Ерёменко, 1938 год
После Гражданской войны проходил обучение в Ленинградской Высшей кавалерийской школе (окончил в 1923 году) и на Ленинградских кавалерийских курсах усовершенствования командного состава (окончил в 1925 году).
С октября 1925 года — начальник штаба, с декабря 1929 года — командир 79-го (затем 55-го) кавалерийского полка в 14-й кавалерийской дивизии.
В 1931 году он окончил курсы командиров-единоначальников при Военно-политической академии РККА имени Толмачёва, в 1935 году окончил Военную академию имени М. В. Фрунзе.
С января 1936 года — помощник командира, с июля 1937 года — командир 22-го кавалерийского полка 23-й кавалерийской дивизии 7-го кавалерийского корпуса. С августа 1937 года — командир 14-й кавалерийской дивизии, в которой воевал в гражданской войне и служил более 10 лет после её окончания.
В июне 1938 года стал командиром 6-го кавалерийского корпуса, сформированного из частей Первой Конной армии и дислоцированного в Белорусском военном округе.
В сентябре 1939 года Ерёменко во главе корпуса принимал участие в походе РККА в Западную Белоруссию.
С июня 1940 года — командир 3-го механизированного корпуса в Белоруссии. В декабре 1940 года назначен командующим войск Северо-Кавказского военного округа, но не вступив в должность, через несколько дней, в январе 1941 года назначен командующим 1-й Краснознамённой армией на Дальнем Востоке.Ф∠