Напряженная работа подорвала здоровье Федора Васильевича: он сильно похудел, сделался раздражительным и страдал бессонницей. К тому же патриотический подъем сменился скорбью об утерянном в огне пожара имуществе. Виновником всех лишений молва назначила генерал-губернатора: разве не он обещал москвичам, что город не сдадут неприятелю, разве не по его тайному приказу поджигались их жилища? «Кроме ругательств, клеветы и мерзостей, — жаловался граф Ростопчин, — ничего в награду не получил от того города, в котором многие обязаны мне жизнью».
Тридцатого августа 1814 года Александр I отправил Ростопчина в отставку. Чтобы поправить здоровье, Федор Васильевич уехал за границу на воды и к изумлению своему встретил там восторженный прием. Европейцы чествовали его как героя, победившего Наполеона. В парижских театрах даже останавливали спектакли, когда Ростопчин входил в свою ложу. В отместку неблагодарным соотечественникам граф стал писать и разговаривать исключительно на французском языке... И все-таки умирать вернулся на родину. Его не стало восемнадцатого января 1826 года. Сыновья, как водится, разбазарили огромное богатство отца, продав дома и имения, пожалованные Павлом I.
От Ростопчиных дом на Большой Лубянке перешел во владение героя войны 1812 года Василия Васильевича Орлова-Денисова, портрет которого работы Доу можно увидеть в Военной галерее Зимнего дворца. Отец его, Василий Петрович Орлов, владел богатыми землями на Дону и был атаманом Войска Донского. А дед по матери — граф Федор Петрович Денисов, не имевший сыновей и желавший сохранить в потомстве свое имя, просил Александра I возвести внука Василия Орлова в графское достоинство. Просьба была уважена, Василию пожаловали графский титул с наименованием Орлов-Денисов.
Когда Великая армия вторглась в Россию, первыми ее встретили казаки графа Орлова-Денисова. Случилось это еще при переправе Наполеона через Неман. Затем, находясь в арьергарде, казачий генерал прикрывал отступление русской армии, умудряясь при этом устраивать лихие налеты на колонны неприятеля. Не раз французские отряды принуждены были ретироваться перед его внезапными кавалерийскими атаками. В середине июля под Витебском он разбил три французских полка, что не на шутку встревожило Наполеона. Решив, что к русским подтянулись крупные подкрепления, Бонапарт остановил наступление. Его армия простояла на месте целый день, дав тем самым измотанным непрерывными боями русским войскам долгожданную передышку. За этот бой Барклай де Толли наградил Орлова-Денисова золотой саблей, усыпанной алмазами, с надписью на клинке «За храбрость».
