Родился 22 января 1788 в Лондоне. Его мать, Кэтрин Гордон, родом шотландка, была второй женой капитана Д.Байрона, первая жена которого умерла, оставив ему дочь Августу. Капитан скончался в 1791, успев растратить б льшую часть состояния жены. Джордж Гордон появился на свет с изуродованной стопой, из-за чего у него с раннего детства развилась болезненная впечатлительность, усугубленная истерическим нравом матери, растившей его в Абердине на скромные средства. В 1798 мальчик унаследовал от двоюродного деда титул барона и родовое поместье Ньюстед Эбби под Ноттингемом, куда он переехал с матерью. Мальчик занимался с домашним учителем, затем его отдали в частную школу в Далвиче, а в 1801 — в Харроу.