Филогенетические реконструкции, основанные на геномах современных животных, показывают, что ближайшие родственники позвоночных – это оболочники (к которым относятся асцидии), а чуть более дальние – головохордовые (к ним принадлежит всем известный ланцетник). Еще дальше на филогенетическом древе располагаются иглокожие (представители – морские звезды и морские ежи). Последний общий предок иглокожих и позвоночных существовал, по-видимому, в эдиакарском периоде. Позвоночные отличаются от других групп животных (пусть даже самых близких) наличием не только позвоночника (не обязательно костного, может состоять из хрящей), но и сложного мозга, хорошо развитых глаз, а также органов слуха и обоняния. Самые ранние ископаемые остатки позвоночных – это три разных вида бесчелюстных из нижнего кембрия. Это уже вполне типичные позвоночные животные с глазами и, возможно, обонятельными ямками, спинным плавником, миомерами и жаберными дугами. Вероятно, это не самые примитивные предки позвоночных, поскольку на филогенетическом древе современные миксины занимают более «древнее» положение. Почти все ныне живущие позвоночные принадлежат к челюстноротым. Однако бесчелюстные сыграли ключевую роль в эволюции позвоночных. В период 500 – 370 млн. лет назад жили самые разнообразные бесчелюстные животные (ордовик – время расцвета этой группы). К настоящему моменту все бесчелюстные вымерли, за исключением миног и миксин, которые с тех пор почти не изменились. Это один из многих примеров быстрого появления разных форм (диверсификации) в какой-то группе организмов, за которым следует их полное (или почти полное) вымирание.
После появления бесчелюстных в эволюции позвоночных произошло два важных события (наряду со многими другими) – приобретение челюстей и костей. Челюсти – это преобразованные жаберные дуги, они впервые отмечены в палеонтологической летописи около 450 млн. лет назад (ископаемые рыбы плакодермы; возможно, остальные челюстноротые обзавелись челюстями независимо от них). Хрящевые рыбы (их современные представители – химеры, акулы и скаты) появились в силуре не позже 420 млн. лет назад. Первыми обладателями костей стали костные рыбы (появились в палеонтологической летописи около 420 млн. лет назад), которых подразделяют на лучеперых и лопастеперых рыб (и еще вымерших колючкозубых). Почти все современные рыбы относятся к лучеперым. Лопастеперые рыбы были широко представлены в девоне, сейчас от них осталось лишь два вида латимерии и три рода двоякодышаших рыб. Лучеперые рыбы, как и акулы, продолжали эволюционировать в океане в позднем палеозое и после этого. Лучеперые (а также древние акулы) также были успешны в освоении пресных вод. В противоположность им предки лопастеперых рыб достигли огромных успехов в освоении суши (об этом позже).