Хотя двери гостиной Воронцовой для поэта не закрылись, обращалась она с ним довольно сухо. Пришло известие, что просьба об отставке поэта удовлетворена. Ему было предписано покинуть Одессу и проследовать на жительство в Псковскую губернию. Александр Сергеевич отправился с визитом на дачу Рено, оттуда к княгине Вяземской прибежал растерянный, без шляпы и перчаток. На другой день Воронцова покинула Одессу, а вскоре, получив «прогонных на три лошади триста восемьдесят девять рублей четыре копейки», уехал и поэт.
Ни Пушкин, ни граф Воронцов не догадывались, в какую коварную интригу вовлечены. Оказалось, что у «несравненной властительницы Одессы и берегов Тавриды» имелся тайный и куда более удачливый поклонник. Чиновник особых поручений Александр Раевский был в доме губернатора своим человеком: его семья состояла в родстве с графиней Браницкой. Молодой человек был безумно влюблен в прекрасную Элизу, да и она была неравнодушна к его ухаживаниям. Однако у этого тайного романа оказался горький привкус.
Современники отмечали, что характер Раевского составлен из смеси чрезмерного честолюбия, зависти, хитрости. Интриги были его стихией. Заметив увлечение Пушкина графиней, он ловко выставил эту влюбленность напоказ и сделал поэта главной мишенью ревности Воронцова.
Третьего апреля 1825 года Элиза родила дочь. Злые языки утверждали, что отец Софьи — Раевский. Спустя некоторое время, то ли поняв натуру этого «демона», то ли просто охладев к нему, Елизавета Ксаверьевна удалила от себя любовника. В 1827 году супруги уехали в Англию и вернулись лишь год спустя. Графиня по-прежнему избегала Раевского, но он всюду преследовал ее.
В июне 1828 года разразился скандал, взбудораживший всю Одессу. Воронцовы принимали царскую чету. В один из дней, когда графиня с приморской дачи ехала на встречу с императрицей, ее карету на улице остановил Раевский и размахивая хлыстом, принялся говорить дерзости. «Позаботьтесь о нашей дочери», — крикнул он, когда кучеру удалось тронуться с места.
