Графиня пришла в ужас и потребовала от мужа, чтобы наглецу было отказано от дома. Воронцов впервые вышел из себя и написал письмо в Петербург, после которого последовало высочайшее повеление о немедленной высылке Раевского в Полтаву. Граф принял все меры, чтобы репутация жены не пострадала, и признал Софью своей дочерью. Однако безумно любя других своих детей, к этой девочке оставался холоден — забыть измену Элизы Михаил Семенович не мог. Внешне Софи резко отличалась от остальных членов семьи: темноволосая, смуглая и кареглазая — точная копия Раевского.
С годами былые страсти поутихли, и супруги очень сблизились. Способствовало этому в том числе и общее горе: из шести детей они потеряли четверых — троих в младенчестве, Александрина умерла в девять лет. Глядя на страдания девочки, графиня едва не сошла с ума, а после надолго слегла...
Губернаторские обязанности не позволяли графу подолгу жить в одном месте, поэтому в любимой Алупке Воронцовы бывали наездами. В конце декабря 1844 года в Алупку доставили письмо — император Николай I предлагал графу принять под свою руку Кавказ. Перед тем как отправиться к месту нового назначения, Воронцов пишет в Петербург боевому другу генералу Ермолову: «Любезный Алексей Петрович! Ты, верно, удивился, когда узнал о назначении моем на Кавказ. Я также удивился, когда мне предложено было это поручение, и не без страха оное принял: ибо мне уже 63-й год».
Елизавета Ксаверьевна находилась при муже во всех местах его службы и даже сопровождала в военных походах на Кавказе. С гордостью сообщал Михаил Семенович другу Ермолову: «В Дагестане она имела удовольствие идти два или три раза с пехотою на военном положении, но, к большому ее сожалению, неприятель не показывался».
Летом 1851 года здоровье графа стало резко ухудшаться. Он уже не мог держаться в седле и пользовался коляской. Кроме того, стало быстро падать зрение, и он украдкой пользовался очками. Елизавета Ксаверьевна помогала мужу как могла, приняв на себя обязанности его секретаря: писала под диктовку письма, читала приходящую почту, прошения. На склоне лет Воронцов в записках отнесет свой семейный союз к разряду счастливых. Правда перечисляя даты рождения детей, «забудет» указать Софьину...
