Здание, в котором ныне находится физический факультет Ярославского университета, было построено как Дом призрения ближнего.

Современники считали Мельгунова едва ли не самым гуманным чиновником тех времён. Он непрестанно боролся с произволом помещиков, с неправедными судьями. При нём был построен приют для нуждающихся, бездомных и стариков, он разработал даже целую систему помощи голодающим. По его инициативе в городе появились больница и школа с интернатом. Откуда же взять на всё это денег? Мельгунов поступил самым простым и самым невероятным образом. Он просто взял и продал свои собственные владения – в Москве, в районе нынешней Триумфальной площади, и в Петербурге, в дельте Невы, где в бытность свою в северной столице он устраивал пышные балы. Вырученную сумму, всю до единой копейки, генерал-губернатор потратил на улучшение жизни города. Деньги пошли на строительство и содержание Дома призрения ближнего, то есть приюта для обездоленных.

По тем временам это было уникальное место: здесь жили и дети, и старики – и все на полном содержании. К тому же Дом призрения был культурным центром – при нём имелось училище и даже своя типография, где печатался первый ярославский журнал. Не забыл Мельгунов и о том, что его подопечные нуждаются в духовной помощи: в том же здании обустроили домовую церковь во имя иконы Божией Матери «Всех скорбящих Радость». Позднее, в середине XIX века, это здание вмещало в себя женскую гимназию «для девиц всех сословий», богадельню, две больницы, библиотеку.

Строительство этого уникального заведения не обошлось без эксцессов. Дело было задумано с таким размахом, что, несмотря на все пожертвования, денег всё равно не хватило, и сгоряча Мельгунов чуть не разобрал на кирпичи знаменитую Знаменскую башню. И разобрал бы, если бы не вступились за башню ярославцы…