Но далеко не все герои соглашались позировать, и Третьяков невероятно радовался, когда удавалось «сломить» упрямца. Особенно долго пришлось уговаривать Льва Толстого. Четыре года писатель увиливал от просьбы Третьякова, но все же сдался под напором художника Крамского. Довольный Третьяков написал в письме уважаемому передвижнику: «...Я так и думал, что только Вам и удастся убедить неубедимого — поздравляю Вас!»
Дети Павла Михайловича не помнили дом в Лаврушинском переулке без картин на стенах, казалось, они были здесь всегда. Сначала Третьяков развешивал картины в своем кабинете внизу. По мере роста собрания полотна стали украшать столовую, гостиную, спальни, детские комнаты и даже лестничные пролеты. К началу 1870-х годов картин в доме было уже так много, что их стало некуда вешать. Павел Михайлович задумался о постройке для коллекции отдельного здания. Посоветовался с братом, и тот его поддержал.
В сентябре 1872-го часть сада вырубили и на этом месте возвели двухэтажное здание с парой обширных залов. Новое хранилище примыкало к южной стене дома и соединялось внутренним переходом с жилой частью, но имело отдельный вход с улицы — и посетители входили с Лаврушинского переулка сначала во двор, потом через калитку в сад, а из сада в галерею.
По мере пополнения коллекции к жилому дому пристраивали все новые и новые залы, превратив его в картинную галерею. В 1904 году Виктор Васнецов «спрячет» все пристройки за похожим на русский терем фасадом, ставшим символом музея. И сейчас, находясь в некоторых помещениях Третьяковской галереи — вестибюлях, в первом зале и с третьего по седьмой, мы даже не подозреваем, что оказываемся в гостях у Павла Михайловича, в его доме в Толмачах.
С 1874 года галерея Третьякова была открыта для широкого круга знакомых, с 1881-го — для публики разных сословий. Став московским генерал-губернатором, великий князь Сергей Александрович повадился возить туда гостей Первопрестольной и всякий раз удивлялся, почему Третьяков его не встречает... «Нам, конечно, это было удивительно, — вспоминает один из служителей галереи. — Честь-то какая! Сам царев брат, разные великие князья и княгини, графы, генералы приедут в мундирах, в звездах, в лентах, в орденах, в богатейших каретах, полиции по всему переулку наставят, начиная с самых каменных мостов, всех дворников выгонят из домов мести и поливать улицы. А он (Третьяков): «Дома нет!» Сидит в кабинете, делами занимается или читает».