Представитель старинного дворянского рода Давыдовых. Родился в семьебригадира Василия Денисовича Давыдова (1747—1808), служившего под командованием А. В. Суворова, в Москве[3]. Значительная часть детских лет его прошла в военной обстановке в Малороссии, Слобожанщине, где служил его отец, командовавший полтавским легкоконным полком, и была родина его матери, дочери харьковского генерал-губернатора Евдокима Щербинина. Денис рано приобщился к военному делу, хорошо выучился верховой езде. Но его постоянно мучила его невзрачная внешность: маленький рост (в отца, который был заметно ниже матери) и маленький курносый нос «пуговкой».
В конце XVIII столетия по всей России гремела слава великого Суворова, к которому и Денис относился с необычайным почтением. Однажды, когда мальчику было девять лет, ему довелось увидеть знаменитого полководца, тот приехал к ним в имение, в гости. Александр Васильевич, оглядев двух сыновей Василия Денисовича сказал, что Денис «этот удалой, будет военным, я не умру, а он уже три сражения выиграет», аЕвдоким пойдёт по гражданской службе. Эта встреча запомнилась Денису на всю жизнь.