Военная реформа, провозглашение единоверия и борьба с инакомыслием не привели к укреплению власти и авторитета халифов. Сын ал-Мутасима ал-Васик (842–847) был убит гвардейцами и, вопреки завещанию, на престоле оказался не сын, а брат ал-Васика Джафар, известный под именем ал- Мутаваккила (847–861).
Заняв трон халифа при поддержке могущественной гвардии, ал-Мутавваккил попытался избавиться от ее контроля, отправив в тюрьму начальника гвардии и возвратив в Багдад часть гвардейцев из Самарры. Стремясь нейтрализовать возрастающее вмешательство гвардейцев, военачальников и чиновников в государственные дела, ал-Мутаваккил решил опереться на традиционные суннитские ценности и резко изменил религиозную политику: мутазилитские трактовки догматов ислама были объявлены ересью. Под страхом смерти запрещалось обсуждать догмат о предвечности и несотворенности Корана. Суннитский ислам вновь стал официальным исповеданием.
Наряду с мутазилитами-еретиками гонениям подверглись хариджиты и шииты. Шиитская святыня – надгробный мавзолей третьего шиитского имама Хусайна в Кербеле осквернен и разрушен, паломничество к могиле строжайше запрещено.
Изменилось отношение к иноверцам (зиммиям), составлявшим значительную часть населения халифата. Участились случаи разграбления церквей и монастырей, столкновений правоверных с «покровительствуемыми», возникавших часто по ничтожному поводу. В одной из хроник, например, рассказывается как во время похорон молодой женщины-христианки «с плакальщицами и монахами, с распятиями и свечами» какой- то мусульманин стал швырять камни в гроб, за что и был убит на месте. Возмущенные мусульмане, с поднятыми вверх рукописями Корана, двинулись к дворцу халифа, завязался настоящий бой с христианами, несколько человек погибло.
В 853 г. ал-Мутаваккил издал указ, восстанавливавший ряд ограничений и унизительных предписаний для христиан и иудеев, введенных в прошлом, но не всегда исполнявшихся. Иноверцам предписывалось носить одежду желтого цвета, подпоясываться веревками, покрывать голову стегаными шапками, их обязывали прикреплять к дверям домов деревянные изображения дьявола, ездить только на мулах. Им запрещалось служить в администрации, участвовать в судебном процессе в качестве свидетелей по делам мусульман, в то время как в христианском суде мусульманин мог выступить против христианина.
Эти меры способствовали переходу множества знатных чиновников-христиан в ислам, но в целом исламизация населения шла медленно. Иудеи вообще ислам не принимали, как и большинство христиан в провинции. Население северного Ирака еще в Х веке было, по словам ибн ал-Факиха, «мусульманским по имени, но христианским по характеру». Иран в течение трех веков после арабского завоевания сохранял верность зороастризму. Берберское население северной Африки перешло в ислам примерно к XII веку. Весьма поверхностной была исламизация Центральной Азии.
За время правления ал-Мутаваккила тюркская гвардия из надежной охраны халифа, готовой противостоять мятежам и смутам, превратилась в орудие дворцовых заговоров. После убийства ал-Мутаваккила началась череда переворотов, когда гвардейцы в сговоре с придворными и претендентами на власть меняли халифов как фигуры на шахматной доске. От былого преклонения перед «повелителем правоверных» не осталось и следа. ал-Мутазза, младшего сына халифа ал-Мутаваккила, которого отец назначил своим преемником, гвардейцы заточили в тюрьму и поставили халифом его брата. Через полгода тот был убит, пленника выпустили из заточения и возвели на престол (865–869). Когда ал-Мутазз оказался не в состоянии платить жалование, начальник тюркской гвардии приказал избить его и посадить в тюрьму, из которой он уже не вышел.
Последующие халифы были лишь номинальными правителями, бездеятельными и бессильными, неспособными стабилизировать центральную государственную власть и справиться с местными эмирами, претендовавшими на автономное правление. Появились первые признаки кризиса халифата как единого государства.
Одним из первых стал независимым наместник халифа в Египте Ибн Тулун, образовавший на территории Египта, Сирии и Палестины эмират Тулунидов (868–905). Эмиры платили подати халифу, но в остальном были совершенно самостоятельны. В 935 г. Западный Иран захватил предводитель наемных войск Мердавидж, намеревавшийся утвердить свое господство над всем Ираном. После убийства Мердавиджа власть перешла к военачальникам – братьям Буидам (Бувайхидам). Они основали государство Буидов (935–1055) с центром в Багдаде, где жили Аббасидские халифы, за которыми был сохранен статус духовных глав суннитов.
На Пиренейском полуострове в начале X в. во главе Кордовского халифата стояли потомки Омейядов; в Северной Африке образовался халифат Фатимидов (909–1171) – государство шиитов-исмаилитов со столицей в Каире.
В XI в. племенное объединение тюрков-сельджуков, кочевавших в Центральной Азии, вторглось в Иран, а затем в Ирак, и в 1055 г. сельджуки покорили Багдад. Сельджукид Тогрул-бек потребовал от халифа ал-Каима (1031–1075) титул султана и женился на его внучке. Политическая власть оказалась в руках султана, у халифа остался номинальный авторитет духовного главы мусульман.
В 1258 г. к стенам Багдада подошли монголы и после непродолжительной осады взяли город. Пожары, грабежи и насилия продолжались несколько дней. Халиф ал-Мустасим (1242–1258) был казнен. Из членов семьи Аббасидов уцелели лишь немногие. Как государство, халифат прекратил существование, но по-прежнему считалось, что только халиф может вручить светскому правителю верховную власть над его подданными.
В 1261 г. глава Мамлюкского сулатаната в Египте и Сирии Байбарс (1260–1277) решил подтвердить законность своей власти. Один из спасшихся Аббасидов был провозглашен халифом и объявил Байбарса султаном. Это означало, что за ним и последующими мамлюками признается политическое главенство в мусульманском мире. С тех пор халифы жили в Каире и, по словам известного российского историка-востоковеда В. В. Бартольда, «должны были своим призрачным авторитетом освящать власть султанов, как светских правителей». В 1517 г. турецкий султан Селим I взял Каир и переправил последнего аббасидского халифа ал-Мутаваккила III с родственниками в Стамбул, где он жил несколько лет, а затем, по сведениям исторических источников, вернулся в Египет, где и умер в конце 30-х или начале 40-х годов XVI в.
Начиная с Селима I, Османских султанов стали называть «халифами», не считаясь с тем, что никому не было известно об официальной передаче халифата от Аббасидов к Османам. Во второй половине XVIII в. появилась версия о торжественной передаче халифата турецким султанам, как законным обладателями верховной власти над мусульманами. В результате турецкой национальной революции, осуществленной под руководством Мустафы Кемаля Ататюрка в 1921 году, был ликвидирован султанат, но власть халифа еще сохранялась. 3 марта 1924 г. халифат был упразднен и все члены правящей династии высланы из страны. Последний халиф Абдулмеджид II (1868–1944) жил и умер в Париже, похоронен в Медине.