Потому что правильно говорить со двора, а не из двора. Предлог "с" выражает пространственное отношение, а именно "направление сверху вниз": спрыгнул с крыши, с дерева, с лестницы. У предлога "из" несколько другое пространственное значение: "направление изнутри наружу" : вышел из комнаты, из школы, из трамвая.