В один из мартовских вечеров 1801 года, когда больной и опальный граф Завадовский сидел в большой гостиной дворца у мраморного камина, ему доставили собственноручный рескрипт нового императора Александра I. Раскрыв письмо, он прочитал:

«Граф Петр Васильевич, при самом начале вступления моего на престол я вспомнил и верную вашу службу, и дарования ваши, кои на пользу ея вы всегда обращали. В сем убеждении желаю, чтобы вы поспешили приехать сюда принять уверение изустное, что я пребываю вам, доброжелательный Александр».

«Жребий мой проводить старость не в покое, не в отдохновении, как и вся жизнь суетна была», – проворчал шестидесятичетырехлетний Завадовский и заторопился в столицу.

В мае 1801 года граф Завадовский был назначен председателем Комиссии по составлению законов. Он пишет Семёну Воронцову: «Тучи книг теоретического законоведства, которое не клеится с русским бытом… Непомерно хочется истребить кнут, которого я не видал ни в натуре, ни в действии, но одно наименование поднимало и поднимает во мне всю ненависть».

С ним работали разные люди, в том числе и прошедший Сибирь Александр Радищев. Когда-то, в 1790 году, сенатор Завадовский был одним из тех, кто уговорил императрицу заменить смертный приговор Радищеву на ссылку.

Через двенадцать лет Петр Завадовский фактически убил того, кого спас вместе с Безбородко. Однажды он неосторожно бросил Радищеву, потрепав по плечу: «Эх, Александр Николаевич, охота тебе пустословить по-прежнему, или мало тебе Сибири?» После этих, казалось бы, ничтожных слов автор «Путешествия из Петербурга в Москву» пришёл домой и отравился.

8 сентября 1802 года после долгих обсуждений и споров император Александр подписал указ о правах и обязанностях Сената и манифест об учреждении министерств. В тот же день Завадовский занял пост министра народного просвещения.

В ведение министерства входили Академия наук, Российская академия, университеты и другие учебные заведения, типографии, цензура, издание периодических сочинений, народные библиотеки, музеи и различные общества по распространению знаний. 25 января 1803 года в доме П. В. Завадовского состоялось первое заседание Главного правления училищ, на котором были прочитаны «Предварительные правила народного просвещения».

Россия делилась на шесть учебных округов. Во главе округа стоял университет.

Каждый из губернских городов теперь имел свое «губернское училище или гимназию», находившееся под контролем университета. Директор гимназии был вместе с тем и директором уездных училищ, которых предполагалось, по меньшей мере, по одному в каждом уездном и губернском городе. Наконец, смотритель уездного училища был, в свою очередь, начальником приходских училищ своего уезда. Чтобы поднять престиж гимназического образования, Завадовский отдал своих 10-ти и 11-летних сыновей в гимназию.

12 декабря 1802 года был утверждён акт об открытии (на базе захиревшей, но существовавшей ещё с 1632 года «Академии Густавиана») Дерптского, ныне Тартуского, университета. 4 апреля 1803 г. Главная Виленская школа (на базе основанной королём Стефаном Баторием Виленской академии) была преобразована в Виленский университет. На базе Казанской гимназии в 1804 году был создан Казанский университет, одновременно с ним – Харьковский.

Учебное и административное устройство университетов основывалось на положениях устава 1804 года, проект которого был предложен харьковским помещиком Василием Каразиным. В соответствии с уставом университет определялся как «высшее учебное сословие», в котором «приготовляется юношество для вступления в различные звания государственной службы».

«Надо сказать, что П. В. Завадовский был запоминающейся личностью. По свидетельствам современника, «глубокомыслие и важность ясно изображались на его лице. С первого взгляда можно было подумать, что он горд, но сия гордая и холодная наружность была только следствием углублённой в свои мысли и нерассеянной души его; надобно было только осмелиться вывести его из сего углублённого положения, и он начинал мало-помалу входить в разговор, который от часу становится живее и занимательнее.

Доступ к нему был свободен каждому, не было у него назначено приёмных дней: каждый мог во всякий день приходить к нему и тотчас видеть его, если он не был занят чем-то важным; он всегда выслушивал благосклонно, снисходительно и с вниманием. С людьми мелкими, небольшими чиновниками разговаривал с отменной благосклонностью, особенно ласково принимал своих одноземцев, всяких чинов из Малороссии», – описывала стиль министра его правнучка писательница Татьяна Кузьминская.