Родился 9 (21) июня 1897 года в городе Полтаве Полтавской губернии (сейчас Полтавская область, Украина) в семье обрусевшей немки, баронессы Людмилы Львовны Шаргей (в девичестве Шлиппенбах) и крещёного в католичество еврея — Игнатия Бенедиктовича Шаргея. Его прадед — Антон Андреевич Шлиппенбах, участник Отечественной войны 1812 года. Людмила Львовна до замужества жила в Киеве, где преподавала французский язык и географию в Киево-Подольской женской гимназии и познакомилась с будущим мужем, тогда студентом естественного отделения физико-математического факультета Киевского университета; 12 января 1897 года он принял крещение и они смогли зарегистрировать брак. Игнатий Бенедиктович Шаргей (1873—1910) был уроженцем Бердичева, куда его родители, Бендыт Срулевич Шаргей и Фридриха Айзиковна Розенфельд (во втором браке — Екатерина Кирилловна Даценко, ум. 1917), переехали из местечка Кретинген Тельшевского уезда Ковенской губернии.[2]
Александр Шаргей родился и провёл детские годы в доме бабушки (по профессии акушерки) и её второго мужа, земского врача и впоследствии начальника III-го отделения казённой палаты Акима Никитича Даценко, на улице Сретенской № 4. Родители Шаргея подвергались гонениям за участие в студенческом протестном движении, а мать даже была арестована и подвергнута жандармерией пристрастным допросам в период беременности[3]; в итоге, у неё впоследствии развилось психическое заболевание и она была помещена в лечебницу для душевнобольных под селом Малые Будищи, где провела остаток жизни.