Аль-Мамун был незлопамятным человеком. Он простил даже своего злейшего врага Фадла ибн Раби (о котором говорил: «Он предал меня и настроил моего брата против меня»), успевшего сбежать из Багдада, и примирился с матерью аль-Амина, Зубейдой.

Новому халифу нельзя было отказать в мудрости и стратегическом мышлении. Придя к власти, аль-Мамун попытался объединить суннитов и шиитов, создав новую религиозную доктрину, которая могла бы устроить обе стороны. Он начал с того, что пригласил ко двору имама шиитов Али ар-Рияда, пообещав разделить с ним власть и женив его на своей дочери. Себя он тоже стал называть не только халифом, но и имамом, как требовали шииты. Предполагалось, что в будущем трон будут занимать достойнейшие представители как шиитов, так и суннитов, и пропасть между ними исчезнет. В знак дружбы и согласия в новой столице халифата Мерве вместо черных аббасидских вывесили зеленые алидские флаги.

Но вместо примирения эта мера вызывала новую вспышку ненависти. Сунниты в Багдаде подняли бунт и объявили халифом Ибрахима, сына аль-Махди и дядю аль-Мамуна. Он считался прекрасным музыкантом и певцом и пользовался любовью граждан, но этого оказалось недостаточно для того, чтобы удержаться у власти. Когда аль-Мамун подошел с армией к Багдаду, Ибрахим сбежал из дворца.

Он прятался в Багдаде целых шесть лет, ночуя у друзей и родственников, и был случайно пойман ночью, когда шел по улице в женской одежде и его остановила стража. Ибрахим молча протянул стражнику кольцо с рубином, чтобы тот его пропустил, но это еще больше насторожило постового: он позвал командира, и тот, сорвав с Ибрахима чадру, увидел его бороду.

Однако аль-Мамун и здесь проявил свой мягкий нрав, помиловав своего противника: «Аллах да простит тебя, а Он самый милостивый из всех, оказывающих милосердие». После этого Ибрахим до самой смерти жил домашним узником в халифском дворце, воспевая повелителя в своих стихах.

Аль-Мамун полностью восстановил власть в стране, но прежнего порядка уже не было. Халифат захлестнула волна бунтов и мятежей. В Египте подняли бунт наемники из Кордовы, в Азербайджане восстал Бабек, с которым аль-Мамун, несмотря на все усилия, так и не сумел справиться. В Тунисе власть захватил Ибрахим ибн Аглаб, хорасанец, посланный подавлять восстание берберов в провинцию Ифрикию. Он с блеском выполнил поручение, но взамен потребовал от халифа права наследственной власти в этой области. Ибн Аглаб платил багдадскому халифату определенный налог, а во всем остальном стал независимым правителем.

С Тахиром, победителем аль-Амина, отношения складывались не лучше. Говорили, что аль-Мамун не мог видеть Тахира, потому что тот напоминал ему о смерти брата. Зная об этом, Тахир предпочел отправиться обратно в Хорасан, где стал практически суверенным правителем.

Все это не мешало халифу вести приятную жизнь. Как и его отец, он любил проводить время в изысканных пиршествах и беседах, собирая самых образованных и остроумных людей со всего халифата. Аль-Мамун отличался тем, что любил не только поэзию, но и философию — философию даже больше. Науки и искусства при нем процветали, а в основанном еще Харуном ар-Рашидом «Доме мудрости» было переведено на арабский огромное множество греческих трудов. По преданию, рукописи туда целыми караванами везли из Константинополя. Сам халиф был рационалист, склонный скорей к доктрине мутазилитов, вслед за которыми он считал, что разум важнее веры и что все можно объяснить с помощью философии и науки. Утверждая мутазилитство как официальную доктрину, он преследовал инакомыслящих, создав специальную комиссию, которая допрашивала и судила богословов и факихов на предмет их веры. Те, кто отказывался признать мутазилитство, подвергались гонениям и казням. Среди них был Ахмад ибн Ханбал, главный оплот и авторитет традиционалистов. В то же время халиф очень терпимо относился к представителям других конфессий и признавал законным любого религиозного лидера, который находил себе хотя бы десяток приверженцев.

В 40 лет он женился на дочери аль-Хасана ибн Сахла по имени Буран. Свадьбу устроили с невиданной щедростью и пышностью. Хасан разослал гостям тысячи мускусных орехов, в каждом из которых лежало описание подарка: от рабыни или коня до целых поместий. Счастливчики приходили со своими орехами к управляющему Хасана и получали все, что было написано внутри. Тем, кому не досталось орехов, раздавали яйца из амбры, мускусные пузыри или просто деньги. Хасан несколько дней содержал за свой счет весь халифский двор, от принцев и вазира до последнего носильщика и поваренка.

В последний год правления, отправившись в очередной поход против Византии, халиф остановился у источника аль-Будандун. Ему понравилось это место, полное зелени и прохлады, и он приказал возвести над ручьем помост с шалашом из свежесрубленных веток. Вода в роднике была так чиста, что можно было прочитать надпись на монете, брошенной на дно ручья, и очень холодна. Пока халиф смотрел на родник, появилась большая рыба, блестящая, «как слиток серебра», и аль-Мамун пообещал награду тому, кто ее поймает. Один из слуг поймал и вытащил ее на помост, но она вырвалась у него из рук и плюхнулась в воду, обдав брызгами аль-Мамуна. Одежда на груди халифа промокла насквозь. Рыбу поймали еще раз, и аль-Мамун приказал ее зажарить, как вдруг его охватил ужасный холод. «Холодно, холодно!» — повторял он и, сколько его ни накрывали шубами и ни набрасывали покрывал, дрожал «как пальмовый лист». Вокруг него развели костер, но это не помогло. Принесли зажаренную рыбу, но он не мог ее есть. Позвали врачей, которые сказали, что болезнь эта никому не известная, но, судя по всему, смертельная. Перед смертью аль-Мамун попросил вынести его из шатра, чтобы он мог обозреть свое войско и «свое царство», и обратился к Аллаху: «Тот, кто не умирает, помилуй того, кто умирает».

В оставленном завещании он подробно описал, как должны пройти его похороны. «Уложите меня на правый бок и разверните в направлении Мекки. Откиньте саван с головы и ног, затем возведите нишу из глиняного кирпича и забросайте меня землей. Потом уходите и предоставьте меня моей судьбе, ибо никто не может помочь мне в том, что уготовит для меня Аллах».

Аль-Мамун умер в 833 году, назначив преемником своего брата аль-Мутасима. Почему халифом не стал его сын Аббас, участвовавший вместе с отцом в византийском походе, истории неизвестно.