Портрет Зинаиды Николаевны к этому времени был уже им написан в юсуповском дворце на Мойке, так что основными «моделями» стали мужчины, и первой — глава семейства. «Князь скромен, хочет, чтобы портрет был скорее лошади, чем его самого...» — сообщал Серов жене. Его кисть сумела передать и буйный нрав арабского скакуна, и сдержанную важность всадника. Князь остался доволен и, по словам Валентина, «в разговоре о портретах изволил заметить, что о цене не спрашивает» — сколько художник назначит, столько он и заплатит.
Наблюдательный гость быстро подметил, что супруги — люди очень разные: она — открытая, приветливая, жизнерадостная, он — молчаливый и довольно угрюмый. Но без сомнения, они были сильно привязаны друг к другу. В свое время их романтическая история наделала в Петербурге много шума.
Наследница огромного состояния княжна Зайдэ, как называла Зинаиду Юсупову сестра Татьяна, мечтала выйти замуж только по любви. Отец же, гофмейстер двора Николай Борисович, считал, что брак — дело серьезное, и прочил в зятья претендента на болгарский престол Александра Баттенберга. Не желая огорчать папеньку, девушка согласилась познакомиться с потенциальным женихом. Баттенберга сопровождал молодой русский офицер граф Феликс Сумароков-Эльстон, в обязанности которого входило представить принца будущей невесте и откланяться. Но «откланяться» пришлось Баттенбергу: Зинаида с первого взгляда влюбилась в статного красавца-кавалергарда. Тем же вечером изумленный Феликс записал в дневнике: «Кажется, ко мне неравнодушны...» Да и сам он не остался безразличным к Юсуповой и вскоре сделал ей предложение. Свадьба, состоявшаяся весной 1882 года, вызвала недоумение света: отчего первая красавица империи, да еще с таким приданым, пошла под венец с этим солдафоном? Однако жених оказался не так уж прост. Его отца, Феликса Николаевича Эльстона, считали внебрачным сыном прусского короля Фридриха Вильгельма IV и фрейлины Екатерины Тизенгаузен, внучки фельдмаршала Кутузова. Женился он на Елене Сергеевне Сумароковой, присоединив к своей фамилии фамилию исчезнувшего рода Сумароковых и графский титул. У Зинаиды Николаевны и Феликса Феликсовича родились четверо мальчиков, но двое скончались в младенчестве.