В 1860 году Некрасов уплатил двенадцать тысяч рублей, присужденных Панаевой к возврату по огаревскому делу, избавив ее от долговой ямы. Покой Авдотьи Яковлевны был восстановлен. Восстановилось и здоровье Некрасова. Лишь взаимопонимание между этими все еще болезненно привязанными друг к другу людьми восстанавливаться никак не желало.
Особенно тоскливо стало в доме после смерти Ивана Ивановича, в феврале 1862 года умершего от сердечного приступа на руках неверной, но все еще законной и по-своему любившей его жены. Незадолго до смерти он вдруг жалобно начал уговаривать ее бросить Петербург, вместе уехать в деревню. Она обещала. От его смертного одра Авдотью Яковлевну унесли в глубоком обмороке.
С его уходом из квартиры на Литейной вдруг исчезло что-то невозвратное, незаменимое. Будто упорхнул куда-то беззаботный снегирь, оживлявший беспечным свистом пышно убранные сумеречные комнаты. Легкомысленный, по временам казавшийся даже глуповатым, занятый своим туалетом куда больше, чем делами журнала, владельцем которого числился, Панаев годами охранял их грешную любовь своею почти юродивой добротой и безграничным терпением... Теперь они остались наедине друг с другом. Как на лобном месте.
Спустя три-четыре месяца после смерти Панаева «за вредное направление» было приостановлено издание «Современника». Еще через месяц арестовали Чернышевского, в последние годы несшего на своих плечах огромную часть забот по журналу. В квартире на Литейной, раньше вечно переполненной людьми, воцарилась мертвящая тишина.
И все же Авдотья Яковлевна до последнего оттягивала неизбежное. В безумной надежде разжечь искру прежнего чувства перечитывала старые номера «Современника» со стихами, написанными в самую горячую пору их с Некрасовым страсти. И «забывала» раскрытыми то в гостиной, то в кабинете Николая. Но он словно не замечал этих жалких попыток. Мысли его были заняты совсем другими делами. И другими женщинами...
Он уже грезил о новом гнезде, вел переговоры о покупке усадьбы Карабиха под Ярославлем, строчил письма младшему брату с распоряжениями о приготовлении к осенней охоте. Приглядывался к «Отечественным запискам» на случай, если не удастся отбить у цензуры «Современник». И Авдотья Яковлевна все отчетливее понимала, что в новой жизни Некрасова места для нее уже не будет. Когда же по Петербургу поползли упорные слухи об интрижке, завязавшейся у Николая Алексеевича с актрисой Михайловского театра француженкой Селиной Лефрен, Панаева поняла: дальше откладывать разрыв невозможно. Уезжая, оставила в его кабинете не старый журнал со стихами, а учебники французского. Как ядовитый намек, как злую насмешку: при всех своих талантах Некрасов так и не смог выучить ни одного иностранного языка. Ну что ж, теперь будет повод стараться получше.