В 1888 году Игумнов подал ко двору прошение о разрешении возвести в Москве каменный дом на родной его сердцу Якиманке, напротив храма Иоанна Воина. Там его дядя, Гавриил Матвеевич (1805–1888), петербургский купец первой гильдии, оставил ему в наследство участок с деревянным домом, на месте которого Игумнов решил построить новое, шикарное здание.

Архитектором стал знакомый Николая Васильевича по Ярославлю, поклонник русского стиля Николай Поздеев. Были привлечены лучшие строители и художники, строительные материалы — кирпич, облицовочная плитка, металл — были самого высокого качества. Работа шла в течение шести лет. На строительство было потрачено не менее миллиона рублей, что по тем временам было огромной суммой. Игумнов хотел отразить в великолепии дома силу и размах своего купеческого успеха. Похожий на богатый терем особняк с искусной резьбой, изразцами, витражами, башенками, арками и необыкновенными росписями поражал воображение, хотя и подвергался критике за показную роскошь и недостаток вкуса. Москвичи специально приезжали подивиться на новоявленное чудо, а многочисленные гости особняка Игумнова восхищались изысканными интерьерами с невероятными орнаментами и анфиладами парадных залов в духе Людовика XV.

Скоро по городу поползли слухи: Николай Васильевич поселил в этом доме свою любовницу-танцовщицу, застал ее с другим, убил и замуровал тут же, в стене, и теперь дух неверной возлюбленной по ночам ходит по особняку. Приписывали Игумнову и то, что он придирками довел до самоубийства архитектора Поздеева, который перед смертью проклял и дом, и хозяина. Однако никаких реальных оснований и доказательств эти истории не имели. Известно, что Поздеев скончался от туберкулеза. Однако популярность дома и самого хозяина на фоне таинственной молвы возрастала.

Реальный гром грянул в 1901 году. Игумнов устроил в особняке очередной роскошный бал — он всегда был большим затейником. На этот раз он разбросал в танцевальном зале на паркете из красного дерева золотые монеты. Гости, танцуя, топтали монеты. Все бы ничего, только на монетах был изображен царь Николай II. Кто-то из приглашенных написал донос: у Игумнова, мол, топтали царя, и он это специально устроил! Власти отнеслись к делу серьезно, наказание было строгим — видимо, репутация Николая Васильевича была уже изрядно испорчена сплетнями и слухами. По указу самого императора Игумнова незамедлительно сослали в Абхазию, в далекое глухое село Алахадзы, без права возвращаться в Москву.