После такого «красивого» мира Екатерина II попросила фельдмаршала указать молодых людей, способных занять должности кабинет-секретарей её канцелярии. Румянцев отрекомендовал «двух хохлов» – Безбородко и Завадовского. Оба пришлись ко двору, но особое, приватное расположение императрицы снискал Петр Завадовский – своей красотой, умом и манерами.

Завадовский становится фаворитом Екатерины II в 1776 году, после охлаждения государыни к князю Потемкину. Петр Васильевич был произведён в генерал-майоры и назначен генерал-адъютантом императрицы. Как ни странно, Завадовский особо этому не радовался и при дворе скучал.

Государыня же писала новому фавориту: «Сударушка Петруша, решительно есть то, что я тебя люблю и любить буду и твердо в том пребываю, а ты скорбишь по пустому», «верь мне для своего спокойствия: право я тебя не обманываю, я тебя люблю всею душою», «сама же тебя люблю как душу»; «любовь наша равна; обещаю тебя охотно, пока жива, с тобою не разлучатся»; «с нетерпеливостью ждать буду вечера, чтоб тебя видеть»; «ты сердцем и душою питаешь мою страсть»; «нежность и чувствительность твоя ни с чем несравненны суть»; «любовь твоя утеха души моей».

Безбородко, старый приятель Завадовского, объяснял его скорую отставку тем, что «его меланхолический нрав и молчаливый характер не нравились пылкой государыне».

Через каких-нибудь восемь месяцев он был удален не только от «тела», но и от двора, получив отступного: 80 тысяч рублей единовременно, 5 тысяч рублей пенсии, 1800 крестьян в Малороссии и 2ООО в Польше. С тяжелым сердцем Петр Завадовский уехал в своё имение Ляличи. Так состоялась первая отставка Завадовского.

Екатерина дважды просит его вернуться – не в постель, но на службу. Но он играет в карты, мается скукой и медлит, не едет в Петербург, чтобы «не растравлять там свою рану, на которую рассуждения не есть ещё сильный пластырь».

Сам же Пётр Васильевич считал себя жертвой интриг Потемкина и княгини Дашковой.

О Потемкине Завадовский оставил такое мнение: «Нерадение его, при жажде властвования, в отношении дел суть его пороки. Все стоячее он валит и лежачее поднимает… Много в нем остроты, мало замыслов на истинную пользу, но сим надобно исполнять бы другим».

О Екатерине Романовне Дашковой он промолчал, ведь она была сестрой его ближайших друзей – Александра и Семёна Воронцовых. Он писал С. Р. Воронцову, который жил тогда в Италии: «Познал я двор и людей с худой стороны, но не изменюсь нравом ни для чего, ибо ничем не прельщаюсь. В моем состоянии надобно ослиное терпение».