25 января 1843 года в Нижнем Новгороде в семье тридцатишестилетнего эконома и профессора богословия Нижегородской семинарии, протоиерея Виктора Николаевича Лаврского (в последующем настоятеля храма в поволжском городе Горбатов, а затем Знаменской или Мироносицкой церкви в Нижнем Новгороде), и Екатерины Васильевны Владимировой (двадцатипятилетней дочери священника Архангельского собора в Нижнем Новгороде Василия Григорьевича Владимирова), родилась дочь Александра (Сашенька). Она была пятым ребенком в семье (после нее родился еще мальчик, брат, с которым она была особенно дружна всю жизнь). Трое из четырех родившихся до нее детей умерли (мальчик и две девочки). С рождения Саша была беспокойной, плохо засыпала, требовала, чтобы ее укачивали; особенно любила, когда отец брал на руки и усыплял церковным пением, мгновенно засыпала на воздухе, где могла спать часами, в любую погоду.
По воспоминаниям Потанина, своим пристрастием к литературе, и науке, он обязан жене полковника, командира бригады отца. В семье полковника, куда мальчик был принята на пансион из сочувствия к его сиротству, говорили на трех языках, помимо русского, на немецком и французском, три дочери полковника изучали французский язык, музицировали. В результате Григорий освоил немецкий и французский языки. В отцовский дом Гриша возвращался в субботу, объедался пирогами, блинами и оладьями. Отец после освобождения из тюрьмы отвечал, распоряжением полковника, за строительство церкви в станице. В воскресенье вечером мальчика отводили к Эллизенам, в доме которых мальчик провел около трех лет.