Неожиданная смерть императора в далеком Таганроге породила множество слухов. В частности, говорили о том, что Александр I не умер, а тайно покинул Россию с помощью англичан...
Дальнейшая судьба Гревсов сложилась удачно: семью взял под опеку граф Михаил Воронцов, поселил в своем дворце в Алупке, дал всем пятерым детям хорошее образование. Те были уверены, что с отцом произошло несчастье и скрывающийся на чужбине император Александр в благодарность за то, что Джеймс ему помог, попросил своего верного сановника не оставлять семью англичанина.
Скучающая Юлия все чаще уезжала с детьми из Феодосии: поначалу в Ялту и Одессу, потом и в Петербург. В 1857 году она перенесла некое нервное заболевание, что, по мнению Ивана, сделало ее характер совсем несносным. А в 1860-м, на двенадцатом году совместной жизни, Юлия увезла дочерей в Одессу и больше не возвращалась. Для Айвазовского это стало трагедией, девочек своих он обожал. А теперь жена позволяла видеться с ними только с ее разрешения! Отношения между супругами настолько разладились, что дочери остались единственным, что их связывало. И, конечно, деньги, за которыми Юлия постоянно обращалась.
Формально жизнь Айвазовского мало изменилась — в дом переехала одна из его сестер и взяла на себя хозяйство. Но на душе было гадко. Утешался он одним: как когда-то у Тальони осталась только ее любовь к балету, так и в его жизни есть то, над чем не властна Юлия, — живопись.
Летом 1870 года художник подал в Эчмиадзинский Синод прошение о разводе. Что же все-таки произошло между супругами? Исследователи жизни и творчества Айвазовского до сих пор разводят руками: по тем временам развод без весомого повода был редкостью.
В прошении о расторжении брака Айвазовский писал, что долгие годы терпел дурной нрав жены, но последнее время они живут врозь: «Моя жена Юлия, относясь ко мне враждебно, живет в столице за мой счет, часто путешествует в Австрию, Францию, Германию, вовлекая меня в колоссальные расходы. <...> Юлия Гревс, руководствуясь советами сомнительных лиц, в последнее время обращается к губернатору и другим высоким чинам государства с просьбой забрать мое имущество и имение, хотя я постоянно обеспечиваю жизнь ее, посылая в Одессу ежемесячно по 500—600 рублей... Она восстанавливает дочерей против меня, беря у них подписи, что после развода они будут жить с ней».
