Марию Федоровну опять неприятно кольнул цвет его стен. «Что это я? Пора бы уж привыкнуть», — подумала она. Но привыкнуть было невозможно. Весь Петербург знал, что эта нетипичная для Северной столицы цветовая гамма выбрана Павлом при весьма пикантных обстоятельствах. На одном из балов фрейлина Лопухина обронила лайковую перчатку. Несколько молодых людей кинулись поднимать ее, но галантный император оказался расторопнее. Однако вместо того чтобы вернуть владелице, он заинтересовался ее необычным, трудно определяемым желто-оранжевым цветом с розоватым оттенком и отослал перчатку архитектору Бренне для составления по ее образцу колера наружных стен замка. Пикантность состояла в том, что Анна Лопухина (в замужестве княгиня Гагарина) была любовницей императора.
Красавицу брюнетку с чудной белизной лица и выразительными глазами Павлу «подсунули» недруги императрицы, когда супружеские отношения между ними были прерваны. А случилось это после рождения в январе 1798 года последнего сына, Михаила. Акушер императрицы Иосиф Моренгейм категорически заявил, что «при дальнейшем супружеском сожительстве и плодовитости государыни следующая беременность грозит ей смертью». Павел, чье влечение к супруге не угасло за двадцать с лишним лет брака, подобным запретом был изрядно разочарован. Но заявил, что «жизнь императрицы для него бесконечно дорога, поэтому долг любви заставляет его внять голосу науки, принимая к тому же во внимание, что Небо послало ему многочисленное потомство и с этой стороны государство обеспечено». С того дня он почивал отдельно.
Для императрицы не осталось секретом, что в библиотеке Михайловского замка рядом с покоями Павла появилась потайная дверь, за которой — лестница в толще стены, прямиком ведущая в комнаты фаворитки, проживающей в замке в качестве статс-дамы. И государь мог незаметно приходить к ней на тайные свидания. Марии Федоровне ничего не оставалось, как в одиночестве утешаться музыкой и рисованием и «из угождения супругу обходиться с новой фрейлиной очень хорошо».
— ...Бывало, отправляясь в караул, а при матушке-императрице в карауле стояли бессменно по целым неделям, берешь с собой и перину с подушками, и халат, и колпак, и самовар. Пробьют вечернюю зорю, поужинаешь, разденешься и спишь как дома. А теперь с утра до вечера на плацу; и муштруют тебя как рекрута.
Мария Федоровна так погрузилась в свои невеселые мысли, что не сразу поняла, кто это сказал и о чем шла речь. Повернув голову, увидела трех офицеров Конногвардейского полка. Увлеченные разговором, те не заметили подошедшую императрицу. Приложив палец к губам, она заставила намеревавшуюся возмутиться фрейлину замолчать и продолжила слушать.