На рассвете тринадцатого июля 1826 года Сергей был повешен на кронверке Петропавловской крепости. Матвей был осужден на двадцать лет каторжных работ. Однако после того как из переписки открылось, что он «удерживал брата Сергея и тайное общество от кровопролития и покушения против высочайших особ», каторгу заменили ссылкой, которая продлилась тридцать лет.
Трагедия, постигшая сыновей, совершенно подкосила Ивана Матвеевича, от горя он слег. Немного оправившись, оставил службу в Сенате и уехал с семьей в Италию, надеясь отрешиться и забыться. Умирать же Иван Матвеевич вернулся на родину... Его не стало двадцать четвертого марта 1851 года. До амнистии декабристов и возвращения из ссылки старшего сына оставалось всего пять лет...
В 1856-м декабристам была объявлена амнистия с разрешением вернуться на родину. Матвей Иванович с женой Марией Константиновной и приемными дочерьми — Августой и Аннушкой — поселился в Твери. Когда разрешили жить в столицах, переехал в Москву, где неоднократно встречался со Львом Николаевичем Толстым, собиравшим материалы о декабристах. Писатель восхищался Сергеем Муравьевым-Апостолом и собирался сделать его одним из центральных героев романа «Декабристы», утверждая, что Сергей — «один из лучших людей того, да и всякого времени».
Матвей Иванович подружился с внуком сестры Екатерины — дедом Кристофера — Владимиром Коробьиным, тогда еще совсем молодым человеком. Владимир воспринимал декабриста как живую легенду и с восхищением слушал его рассказы. Подумать только: почти мальчишкой участвовал в Бородинском сражении, бунтовал против царя, три десятилетия провел в сибирской глуши — Вилюйске, Бухтарминске, Ялуторовске.
