После войны 1806—1807 годов Ермолов вернулся в Россию с репутацией одного из первых артиллеристов русской армии. Его по заслугам оценили такие полководцы, как Кутузов и Багратион; видные военачальники Беннигсен, Милорадович, Раевский весьма похвально отзывались о его боевой службе. Князь Багратион, письменными делами которого Ермолов заведовал в течение этой войны, исходатайствовал ему за блистательное мужество, выказанное близ Гутштадта, знаки св. Георгия 3-го класса. За сражение при Голимине он был награждён золотой шпагой с надписью «За храбрость», за главную битву при Прейсиш-Эйлау получил орден Владимира 3-й степени, за баталию при Фридланде — алмазные знаки св. Анны 2-го класса.

Тем не менее инспектор артиллерии и военный министр граф Аракчеев продолжал притеснять и преследовать его.

Отправившись из Тильзита в Россию, Ермолов в местечке Шклов присоединился к дивизии, расположенной лагерем. В конце августа 1807 года Аракчеев осмотрел её, распределил укомплектование артиллерии и приказал Ермолову оставаться в лагере по 1 октября, тогда как прочим артиллерийским бригадам назначено было идти по квартирам.

К сему граф Алексей Андреевич прибавил весьма грубым образом, что Ермолов должен явиться к нему в Витебск для объяснения о недостатках. Оскорблённый этой грубостью, Ермолов не скрывал намерений непременно оставить службу. Узнав об этом, Аракчеев предложил дать ему отпуск для свидания с родителями, а затем приказал прибыть в Петербург, чтобы лучше с ним познакомиться.

С запиской на имя военного министра Ермолов явился в Петербург.

В записке Ермолов указывал Аракчееву на то, что во время ссылки при покойном государе Павле I многие обошли его в чине и что потому состоит он в армии почти последним полковником по артиллерии. «Я объяснил ему, — вспоминал Ермолов, — что, если не получу принадлежащего мне старшинства, я почту и то немалою выгодою, что ему, как военному министру, известно будет, что я лишён был службы не по причине неспособности к оной…»

Граф Алексей Андреевич встретил полковника строгим замечанием:

— Вы одеты не по форме!

— Позвольте усомниться, ваше сиятельство… — возразил Ермолов, уже готовый на дерзкий ответ.

Он непримиримо и твёрдо поглядел прямо в лицо временщика и осёкся: Аракчеев смеялся. От непривычно добродушного смеха тряслось всё его крупное пористое лицо с красным носом, прыгал шейный Аннинский крест и многочисленные звёзды. Продолжая смеяться, Аракчеев приблизился к Ермолову и погладил рукав его мундира:

— У вас нет нашивок, пожалованных вашей конноартиллерийской роте его величеством!

Решив, что Ермолов приобрёл в армии такую славу и известность, что чинить ему препятствия уже небезопасно, Аракчеев сменил гнев на милость, расхвалил его Александру Павловичу, а затем и сам представил императору. Впрочем, Александр I давно уже обратил внимание на талантливого артиллерийского офицера, о котором с великой похвалой отозвался после Аустерлица генерал-лейтенант Уваров, а после похода 1806 — 1807 годов — сам король прусский. Император ответил тогда Фридриху-Вильгельму: «Я уже знаю его…» Нашивки на мундир конноартиллерийской роте Ермолова были знаком особого отличия, равно как и деньги для награждения нижних чинов, отмеченных храбростью, — первый пример подобной награды в русской армии.

Находясь на отдыхе у родителей, в Орле, Ермолов получил известие о долгожданном производстве в генерал-майоры и назначении инспектором конноартиллерийских рот с прибавлением к жалованью двух тысяч рублей.

В этом новом звании отправился он в 1809 году для осмотра конной артиллерии в Молдавской армии под начальством Прозоровского.

Вскоре вспыхнула короткая война между Францией и Австрийской империей. Успехи Наполеона были так же быстры, как и при прежних его походах, и он занял Вену. Во исполнение союзнических обязательств с Францией русские вступили в Галицию, но не столь поспешно, как того требовал Наполеон. Ермолов был назначен начальником отряда резервных войск в количестве 14 тысяч человек в губерниях Волынской и Подольской.

Военный министр Аракчеев дал повеление занять границы обеих этих губерний, так как шляхта, уводя с собой большое число людей и лошадей, переходила в герцогство Варшавское, где формировалась польская армия. Ермолову предоставлена была власть арестовывать перебежчиков и, невзирая на их положение, отсылать в Киев для препровождения далее в Оренбург и Сибирь. Уже тогда проявилась одна особенность Ермолова-администратора. Он не останавливался перед самыми крутыми мерами в отношении злостных нарушителей порядка, но стремился избегать массовых репрессий. Алексей Петрович приказал захваченных при переходе границы отпускать, ограничившись внушением, зато тех, кто стоял во главе больших вооружённых партий, строго наказывал. «Я употребил строгие весьма меры, — рассуждал Ермолов, — но сосланных не было…»