Родился и вырос Филипп в Кастилии. Отец был императором Священной Римской империи и наследником габсбургских земель, а с 1516 года — также королём Испании и правил, всю жизнь неутомимо путешествуя по Европе иСеверной Африке. Из политических соображений Филипп рос в Испании.Восстание комунерос, которое Карлу пришлось подавлять в начале своего правления, ясно показало королю, что в его государстве испанские интересы требовали особого внимания. Поэтому, с видами на добрососедские отношения и возможное наследство, в 1526 году он взял в супруги Изабеллу Португальскую и оставил родившегося в следующем году престолонаследника воспитываться в Испании. Так что Филипп, первый и единственный законный наследник испанского короля Карлоса I, германского императора Карла V, провёл детство и юность, по существу, в двух городах, Толедо и Вальядолиде