Ходатайство которого «по закону невозможно было удовлетворить». Вследствие столкновений с управляющим делами Комитета министров П. С. Молчановым и другими сановниками, а также многочисленных жалоб и доносов императору, был вынужден подать в отставку. На прощальной аудиенции Александр I, очень милостиво приняв его, спросил, держа с ласковым видом за руку: «Даешь ли слово со временем опять сойтиться?» Но Дмитриев откровенно ответил, что он столько перенес неприятностей, что никак не может связать себя словом.
После увольнения со службы окончательно уехал в Москву, где еще в конце 1812 купил участок у Патриаршего пруда, и приступил к постройке дома по проекту известного архитектора А. Л. Витберга, автора первоначального проекта храма Христа Спасителя. В 1816—1819 состоял председателем комиссии для пособия жителям Москвы, разоренным от пожара и неприятеля. Всего комиссией было рассмотрено 20,959 прошений, из которых на удовлетворение 15,320 было израсходовано 1,391,280 рублей. За успешную работу был в 1818 награждён чином действительного тайного советника и орденом св. Владимира I степени. После этого Дмитриев окончательно оставил служебную деятельность. Последние годы своей жизни Дмитриев провёл почти безвыездно в Москве. Мало занимаясь литературными делами, он написал лишь несколько басен и литературных мелочей и исправлял старые стихотворения для новых переизданий трёхтомного собрания сочинений. Работал над мемуарами («Взгляд на мою жизнь», завершены в 1825, впервые опубликованы в 1866), охватывающими период 1760-х — 1820-х годов.