Однако обман открылся, и оба брата «за ложное донесение» были отправлены в отставку, причем старшему Аракчееву было запрещено приезжать в столицу.
Четыре года Аракчеев почти безвыездно провел в своем грузинском имении. Только в мае 1803 г. сменивший Павла Александр I вызвал его в столицу, восстановил на службе и вновь назначил инспектором всей артиллерии. Кампанию 1805 г. Аракчеев провел в его свите. В битве при Аустерлице Александр предложил ему командовать одной из колонн, но Аракчеев отказался, сославшись на расстроенные нервы. Это создало ему в среде действующих военных славу патологического труса, но нисколько не уронило в глазах императора. В 1807 г. Александр присвоил Аракчееву чин генерала от артиллерии с назначением состоять при императоре «по артиллерийской части». В январе 1808 г. он стал военным министром и генерал-инспектором всей пехоты и артиллерии.
Находясь на этих постах, Аракчеев сумел провести целый ряд существенных» преобразований. Было значительно улучшено обучение рекрутов, введена дивизионная организация, военная коллегия получила право самостоятельно решать многие вопросы. Особенно много было сделано в артиллерии. Артиллерийские подразделения выделились в отдельный, самостоятельный от армейских полков, род войск и были сведены в роты и бригады. Почти наполовину уменьшились калибры орудий, что привело к уменьшению их веса и увеличению маневренности. Значительные перемены произошли на заводах, выпускавших оружие и боеприпасы. Аракчеев очень интересовался техническими новинками и был всегда в курсе дела по этой части. Он написал несколько статей по вопросам технологии изготовления пороха, селитры и выполнения боевых стрельб. Все это заметно увеличило боеспособность артиллерии.
Как и прежде, Аракчеев был неумолим к казнокрадам и всяким нарушителям дисциплины. «Приказать и взыскать», — таков был его метод управления военными делами империи. При этом он не принимал никаких возражений — в неумении, незнании или в невозможности выполнить приказание. Среди солдат дисциплина укреплялась с помощью розог, палок, шпицрутенов. Доставалось и проштрафившимся офицерам: аресты, разжалования, увольнения со службы широко практиковались во время министерства Аракчеева. Александр очень ценил его требовательность, но не всегда считал нужным безоговорочно поддерживать своего любимца. В годы, когда император проводил либеральные реформы, Аракчееву приходилось делить свое влияние с другим видным выдвиженцем Александра — Сперанским и даже иногда отступать перед ним. Так, после одного столкновения со Сперанским Аракчеев в 1810 г. уехал в Грузино и послал императору просьбу об отставке. Александр не принял ее, но Аракчеев все равно ушел с поста военного министра. Император поручил ему возглавить департамент военных дел в только что образованном Государственном совете. В мае 1812 г. Аракчеев сопровождал Александра в поездке в Вильно, а после начала Отечественной войны — в укрепленный лагерь при Дриссе. Позже он посетил вместе с ним Москву и вернулся в Петербург. Все это время он находился несколько в тени.
Но начиная с 1814 г. влияние Аракчеева стало неуклонно возрастать. На передний план во внутренней политике выдвинулись тогда охранительные задачи, и Александр искал человека, который мог бы железной рукой подавить освободительный порыв, охвативший русское общество после победы над Наполеоном. В августе 1818 г. Аракчеев был назначен руководителем канцелярии Комитета министров и сделался фактическим руководителем Государственного совета, Комитета министров и императорской канцелярии С каждым годом Александр все более охладевал к верховной власти и отдалялся отдел. Благодаря этому все более безграничным делалось могущество Аракчеева. К 1820 г. в его руках сосредоточились все нити управления страной, так что он стал вторым после императора лицом в государстве. С 1822 г. он был единственным докладчиком по большинству министерств и ведомств, даже по делам Святейшего Синода. Любой министр, генерал или губернатор, добиваясь аудиенции у государя, должен был прежде являться со своей просьбой к Аракчееву, а уже тот докладывал ее Александру. Ни одно существенное дело нельзя было решить без предварительного рассмотрения и одобрения его Аракчеевым. Приемная графа значила тогда больше, чем Сенат, Государственный совет и Комитет министров. Все назначения на высшие военные и государственные посты также проходили только через него.