Родился и вырос Филипп в Кастилии. Отец был императором Священной Римской империи и наследником габсбургских земель, а с 1516 года — также королём Испании и правил, всю жизнь неутомимо путешествуя по Европе и Северной Африке. Из политических соображений Филипп рос в Испании. Восстание комунерос, которое Карлу пришлось подавлять в начале своего правления, ясно показало королю, что в его государстве испанские интересы требовали особого внимания. Поэтому, с видами на добрососедские отношения и возможное наследство, в 1526 году он взял в супруги Изабеллу Португальскую и оставил родившегося в следующем году престолонаследника воспитываться в Испании. Так что Филипп, первый и единственный законный наследник испанского короля Карлоса I, германского императора Карла V, провёл детство и юность, по существу, в двух городах, Толедо и Вальядолиде.
До семи лет Филипп рос в кругу семьи с матерью и сестрой Марией. Отец приезжал в Испанию лишь ненадолго: в 1527—1529, 1534, 1537—1539 и 1541—1543 годы, остальное время государственные дела требовали его присутствия в Италии, Германии и, прежде всего, в Нидерландах.
Когда умерла мать, Филиппу не было и двенадцати. В безмятежной обстановке детских лет у него развилась глубокая любовь к природе. Впоследствии, на протяжении всей жизни, выезды на природу, рыбалка и охота сделались для него желанной и лучшей разрядкой после тяжёлых рабочих нагрузок. Филипп с детства отличался глубокой религиозностью. Любил также музыку и придавал большое значение тому, чтобы приобщить к ней и своих детей. Письма Филиппа, которому было уже за пятьдесят, из Лиссабона, где ему пришлось провести два года без своих маленьких детей, показывают его любящим отцом: он переживает за здоровье малышей, интересуется первым зубом сына и беспокоится о том, чтобы тот получил книжку с картинками для раскрашивания. Возможно, в этом сказалась теплота, которую он с избытком получил в свои детские годы.
В 1535 году для семилетнего Филиппа был создан собственный двор, состоявший примерно из 50 детей испанских дворянских фамилий. С этого двора для Филиппа началась широкая программа образования и воспитания. Император лично выбирал учителей и воспитателей, которые, между прочим, ориентировались на написанный Эразмом Роттердамским в 1516 году трактат «Воспитание христианских принцев». Главными учителями Филиппа стали Хуан Мартинес Силесео и Кристобаль Кальвет де Эстрелья, оба — учёные с именем. Воспитателем к принцу был приставлен Хуан де Сунига, доверенный советник императора. Если последний руководил двором принца с суровостью, то Силесео, скорее, был мягким учителем.
Под руководством наставников у Филиппа на всю жизнь развилась любовь к чтению. К моменту смерти его личная библиотека насчитывала 14 000 томов. Среди книг, которые читал Филипп II, рядом с многочисленными классическими авторами, были Эразм, Дюрер, Коперник, Мирандола и многие другие — был даже Коран. Но в этом разностороннем и основательном образовании были упущены современные иностранные языки, что, учитывая размеры державы, впоследствии явилось ощутимым недостатком. Немецким Филипп вовсе не владел, по-итальянски и по-французски мог ещё кое-как читать, но, главное, совершенно не говорил по-нидерландски. Однажды это даже привело к конфузу: в 1555 годуФилипп принимал от отца Нидерланды и после первых слов вынужден был прервать свою франкоязычную речь, которую пришлось дочитать кардиналу Гранвеле.