Родился и вырос Филипп в Кастилии. Отец был императором Священной Римской империи и наследником габсбургских земель, а с 1516 года — также королём Испании и правил, всю жизнь неутомимо путешествуя по Европе и Северной Африке. Из политических соображений Филипп рос в Испании. Восстание комунерос, которое Карлу пришлось подавлять в начале своего правления, ясно показало королю, что в его государстве испанские интересы требовали особого внимания. Поэтому, с видами на добрососедские отношения и возможное наследство, в 1526 году он взял в супруги Изабеллу Португальскую и оставил родившегося в следующем году престолонаследника воспитываться в Испании. Так что Филипп, первый и единственный законный наследник испанского короля Карлоса I, германского императора Карла V, провёл детство и юность, по существу, в двух городах, Толедо и Вальядолиде.
До семи лет Филипп рос в кругу семьи с матерью и сестрой Марией. Отец приезжал в Испанию лишь ненадолго: в 1527—1529, 1534, 1537—1539 и 1541—1543 годы, остальное время государственные дела требовали его присутствия в Италии, Германии и, прежде всего, в Нидерландах.
Когда умерла мать, Филиппу не было и двенадцати. В безмятежной обстановке детских лет у него развилась глубокая любовь к природе. Впоследствии, на протяжении всей жизни, выезды на природу, рыбалка и охота сделались для него желанной и лучшей разрядкой после тяжёлых рабочих нагрузок. Филипп с детства отличался глубокой религиозностью. Любил также музыку и придавал большое значение тому, чтобы приобщить к ней и своих детей. Письма Филиппа, которому было уже за пятьдесят, из Лиссабона, где ему пришлось провести два года без своих маленьких детей, показывают его любящим отцом: он переживает за здоровье малышей, интересуется первым зубом сына и беспокоится о том, чтобы тот получил книжку с картинками для раскрашивания. Возможно, в этом сказалась теплота, которую он с избытком получил в свои детские годы.