Представитель старинного дворянского рода Давыдовых. Родился в семье бригадира Василия Денисовича Давыдова (1747—1808), служившего под командованием А. В. Суворова, в Москве[3]. Значительная часть детских лет его прошла в военной обстановке в Малороссии, Слобожанщине, где служил его отец, командовавший полтавским легкоконным полком, и была родина его матери, дочери харьковского генерал-губернатора Евдокима Щербинина. Денис рано приобщился к военному делу, хорошо выучился верховой езде. Но его постоянно мучила его невзрачная внешность: маленький рост (в отца, который был заметно ниже матери) и маленький курносый нос «пуговкой».
В конце XVIII столетия по всей России гремела слава великого Суворова, к которому и Денис относился с необычайным почтением. Однажды, когда мальчику было девять лет, ему довелось увидеть знаменитого полководца, тот приехал к ним в имение, в гости. Александр Васильевич, оглядев двух сыновей Василия Денисовича сказал, что Денис «этот удалой, будет военным, я не умру, а он уже три сражения выиграет», а Евдокимпойдёт по гражданской службе. Эта встреча запомнилась Денису на всю жизнь.
После смерти Екатерины II и восшествии на престол Павла I, который не любил Суворова, благополучию Давыдовых пришёл конец. Проведенная ревизия Полтавского полка, которым командовал отец, обнаружила недостачу в 100 тысяч рублей и Давыдова-старшего уволили и по суду обязали выплатить эту сумму. Хотя его вина была только в том, что он положился на честность своих интендантов. Пришлось продать имение. Со временем, выбравшись из долгов, отец купил небольшую подмосковную деревню Бородино около Можайска. (В 1812 году во время Бородинского сражения деревня вместе с барским домом сгорела).
Отец решил определить сыновей в соответствии со словами Суворова — Дениса в кавалергарды, а его брата Евдокима в архив Иностранной коллегии.