Род имени прилагательного самой позней осени
Осень - женского рода, значит, поздней будет иметь соответствующий род.
Женский род, потому что осень женского рода и прилагательное зависит от существительного.