Отношения тем не менее разладились. Досада поэта на губернатора из-за злополучной саранчи не утихала. Пушкин написал резкое послание с просьбой об отставке и изощрялся в эпиграммах. Воронцов искал способы прекратить его волокитство.
Возмущенная происходящим княгиня Вяземская писала мужу в Москву: «Ничего хорошего не могу сказать тебе о племяннике Василия Львовича. Это совершенно сумасшедшая голова, с которой никто не может совладать... Он натворил новых проказ... захотел выставить в смешном виде важную для него особу — и сделал это; это стало известно, и, как и следовало ожидать, на него больше не могли смотреть благосклонно».
«Кажется, Воронцов и добр, и снисходителен, а и с ним не ужился этот вертопрах», — судачили и в одесских кофейнях. Графиня-де очень любезно обращается с поэтом, но ее супруг от него уже отворачивается.
Воронцову, конечно, докладывали, что Пушкин поносит его имя. Тот своего возмущения поэту не высказывал, но написал министру иностранных дел Нессельроде о желательности его удаления из Одессы: «...избавьте меня от Пушкина, это, может быть, превосходный малый и хороший поэт, но мне бы не хотелось иметь его дольше ни в Одессе, ни в Кишиневе».
Четырнадцатого июня 1824 года чета Воронцовых и их гости отправились на яхтах в гурзуфское имение. Пушкин надеялся, что примет участие в увеселительной поездке, но его не пригласили. Самолюбие поэта было уязвлено. Он ругал графа в ресторанах и на купанье, в письмах друзьям и знакомым: «Воронцов — вандал, придворный хам и мелкий эгоист. Он видел во мне коллежского секретаря, а я, признаюсь, думал о себе что-то другое». В запале написал хлесткое четверостишие:
Полу-милорд, полу-купец,
Полу-мудрец, полу-невежда,
Полу-подлец, но есть надежда,
Что будет полным наконец.
Элиза была неприятно поражена злостью и несправедливостью эпиграммы. В конце июля она вернулась в Одессу, но жила за городом на даче Рено и собиралась к матери в Белую Церковь, в фамильное имение Браницких. Граф же оставался в Крыму — именно в эту поездку он обнаружил Алупку и занялся новым имением.
