Всю жизнь работая, борясь за свои убеждения, покидая столицу и возвращаясь к карьере, Завадовский был верен правилу своей Великой возлюбленной: «живи и жить давай другим».

Он растерял былую красоту, и только умные, живые молодые глаза напоминали того, кем соблазнились и императрица, и молодая красавица Апраксина. Завадовский умел быть мягким и снисходительным к слабостям человеческим, но свои идеи правильного и равного народного просвещения отстаивал до конца своей жизни.

Дряхлый физически, хотя ещё бодрый умом, министр стал поговаривать об отставке. Он часто болел, силы покидали его. П. В. Завадовский получил алмазные знаки ордена Андрея Первозванного, графиня, его жена, пожалована кавалерственной дамой Св. Екатерины.

11 апреля 1810 года на пост министра народного просвещения был назначен тоже малоросс, сын последнего гетмана граф Алексей Кириллович Разумовский, служивший до этого попечителем Московского учебного округа.

Напутствуя нового министра, знаменитый мыслитель, один из основоположников консерватизма Жозеф де Местр пророчествовал по поводу будущего созданной Завадовским системы российского образования:

«До тех пор, пока не явится очевидное для всех внутреннее созревание, любое усилие натурализовать науку в России будет не только бесполезно, но и опасно для государства, ибо усилие сие послужит лишь к затемнению национального здравого смысла, каковой во всех странах является всеобщим охранителем.

Россия наполнится тогда бесчисленным множеством полузнаек, в сто раз худших самого невежества, ложных и горделивых умов, презирающих свою страну, вечных хулителей правительства, идолопоклонников всего модного и чужеземного, всегда готовых низвергнуть все сущее».

Смена министра была связана с началом работы Государственного совета. В этот законоустроительный орган, который вскоре стал предметом насмешек, был поставлен граф Завадовский.

Басня «Квартет» была написана Иваном Крыловым через год после того, как Государственный совет приступил к своим обязанностям.

Прототипы к этому времени определились. Государь разделил Департамент на четыре отдела. Во главе были поставлены высокородные вельможи: князь Лопухин (Козел), граф Аракчеев (Медведь), граф Завадовский (Осел), Мордвинов (Мартышка). Осёл-Завадовский был не туп и не глуп, а скорее упрям в своих убеждениях.

Однако работать в Государственном совете ему было «жалко и тошно»: он видел неопределённость и шаткость внутренней политики Александра I, которую в целом не одобрял. «На широком театре играет легкомыслие», – писал он. Всего тяжелее Петру Васильевичу было видеть, что «верхохваты» в своих проектах руководствовались личными амбициями и тщеславием. Тем не менее, в этой должности Завадовский оставался до конца своей жизни. Отставка – на этот раз последняя и окончательная – пришла лишь со смертью.

Петр Васильевич Завадовский, счастливый любовник и несчастный отец, великий просветитель и упрямый осел, переживший три царствования, умер в Петербурге 10 января 1812 года и похоронен на Лазаревском кладбище Александро-Невской Лавры.

С надгробным словом выступил митрополит Филарет (Дроздов). По его словам, «почивший, несмотря на своё благородство, не гнушался низшими ступенями общественных должностей, и его способности привели его потом к подножию престола».

Потомство графа по мужской линии иссякло через сорок лет после его смерти. Отпрыски дочерей здравствуют и поныне. Среди них были и встречаются по сей день весьма интересные персоналии.

Правнучка Петра Васильевича Софья Андреевна Берс вышла замуж за графа Льва Толстого. Её же праправнук, Пётр Толстой был популярным телеведущим, а ныне является заместителем председателя Госдумы и очень напоминает своей иронией пращура Завадовского.