Хаджи Герай родился предположительно в городе Лиде[1], тогдашней столицеВеликого княжества Литовского, где его семья проживала в эмиграции из-за нестабильного положения в Крыму. Среди его предков были эмиры (провинциальные наместники) Крымского улуса Золотой Орды.
Отцом Хаджи Герая был Гыяс-эд-Дин, а матерю - Асия, дочь мурзы. Гыяс-эд-Дин был старшим сыном Таш-Тимура, который в 1395 году провозгласил себя независимым крымским ханом. Во время нашествия Тамерлана на Золотую ОрдуТаш-Тимур был изгнан из своих владений. Его сыновья Гыяс-эд-Дин и Девлет-Бердивынуждены были бежать в литовские владения. Братья поддерживали золотоордынского хана Тохтамыша в борьбе за власть с могущественным темником Едигеем. В одной из битв погибли многие соратники Тохтамыша, среди которых был и Гыяс-эд-Дин. Предания сообщают, что слуга Гыяс-эд-Дина едва спас малолетнего сына своего хозяина от истребления, постигшего сторонников Тохтамыша. Около шести лет слуга где-то скрывался с ребёнком, пока не вернулся в родное селение и передал мальчика на воспитание родственникам.
В 1419 году Едигей погиб в боях с сыновьями Тохтамыша. В Крыму утвердился Девлет-Берди, второй сын Таш-Тимура и дядя Хаджи Герая. В 1427 году Девлет-Берди захватил столицуЗолотой Орды — Сарай, но вскоре был убит Бораком.