Чтоб получить хлеб, надо рано встать, чтоб его посеять, потом собрать урожай, намолоть и испечь. А тот, кто встает поздно ничего не успевает, либо мало чего успевает, соответственно, "у того хлеба не достает" - мало хлеба, либо вообще может остается без хлеба.
Кто труда не боится, тот постоянно в работе и ему просто некогда лениться. Вот лень его и стОронится, так как не может влезть в его плотный рабочий график.