Любое из этих словосочетаний имеет право на существование и действительно используется в нашей речи.
Наиболее часто, по крайней мере я так делаю, используются словосочетания Рано утром и Поздно вечером.
Просто потому, что рано утром мне приходится вставать каждый день, а поздно вечером по телевизору идут самые интересные передачи. И думается мне, что словосочетание поздно ночью также используется очень часто, особенно теми из нас, кто ведет преимущественно ночной образ жизни. Например сегодня поздно ночью соседи снова устроили дебош и не давали мне спать, хотя я сама легла поздно вечером и собиралась встать рано утром.
Но вот словосочетание поздно утром встречается много реже, ведь утро понятие относительное. Только что оно было и вдруг наступил день. Специальной границы между днем и утром нет, а потому чаще говорят либо просто утром, либо уже днем.
Верный вариант Г: Поздно утром.