Во времена Екатерины вице-губернатор был третьим лицом после генерал-губернатора и губернатора. Он был помощником последнего и замещал его во время отсутствия, а также заведовал финансами. Поэтому строительство резиденции вице-губернатора было одним из первых дел. По плану он должен был находиться в одном квадрате с корпусами присутственных мест и Дворцом наместника. Его построили на новой улице, которую проложили сквозь старую застройку. Это была улица Ростовская – ныне Андропова. Кстати, сам дворец, хотя и выглядел пышным и богатым, комфортом не отличался. Поэтому впоследствии в нём разместили портных мушкетёрского полка.

Ныне это здание входит в комплекс зданий городской мэрии. Его знают все ярославцы, но не все знают о том, что для его строительства генерал-губернатору Мельгунову пришлось пожертвовать старым храмом святителя Леонтия Ростовского…