По широкой парадной лестнице господа и дамы поднимались на второй этаж в бальную залу. Из расположенного над ней окошка доносились звуки оркестра. В окошке виднелся дирижер — он внимательно следил за тем, кто заходил в усадьбу, и в зависимости от статуса гостя подбирал подходящую мелодию. Танцевали обычно до упаду, даже свечи иногда гасли от духоты, в гостиной за полночь понтировали, шампанское за ужином лилось рекой, подавали стерлядь, сливочную телятину и индейку, откормленную грецкими орехами, — Иван Матвеевич слыл тонким гастрономом, повара специально из Испании выписал.
Будучи русским посланником в Гамбурге, Копенгагене и Мадриде, он объездил всю Европу, встречался с Иммануилом Кантом и Джорджем Байроном, собрал уникальную библиотеку, слыл блестящим собеседником.
Его первая жена Анна Семеновна, дочь сербского генерала на русской службе Черноевича, тоже не чужда была изящной словесности — переводила французских авторов.
Дети, четыре дочери — Елизавета, Екатерина, Анна и Елена и трое сыновей — Матвей, Сергей и Ипполит, воспитывались в Париже и охотнее проводили дни за книгой, чем за играми или прогулкой. Сергей вместе со старшим братом Матвеем учился в пансионе Хикса — весьма модном и дорогом учебном заведении. Будущим декабристам довелось увидеть коронацию Наполеона, затем встретиться с французским императором в собственной школе — пансион Хикса пользовался особым вниманием Бонапарта. Беседуя с воспитанниками, он обратил внимание на маленького Сергея. Пораженный внешним сходством, «особенно в профиль», воскликнул: «Qui dirait, que се n’est pas mon fils!» («Кто скажет, что это не мой сын!»)
