После Марвана халифом стал его 40-летний сын Абд ал- Малик (685–705). Перед ним стояла задача воссоединить все провинции халифата и положить конец двоевластию.

Укрепив границы Сирии, которой угрожала Византия, Абд ал- Малик сосредоточил все силы, чтобы устранить ибн аз- Зубайра. Сравнительно легко к 691 г. был наведен порядок в Ираке, но исход борьбы зависел от того сумеет ли Абд ал-Малик утвердиться в Аравии. Туда были направлены лучшие военные силы.

Армия полководца Хаджжаджа настолько устрашила мединцев, что они сдали город без сопротивления. Только Мекка, где укрылся ибн аз-Зубайр, пыталась дать отпор. Расчет на то, что Хаджжадж не посмеет штурмовать Мекку во время приближающегося паломничества и поклонения Каабе, не оправдался. Хаджжадж пренебрег святостью города и обрушил на него град камней, долетавших даже до Каабы. Многие дома и укрепления были разрушены. Стало ясно, что Мекка не сможет выдержать осады. Вдохновленный увещеваниями матери – дочери первого праведного халифа Абу Бакра – ибн аз-Зубайр вышел на бой и яростно сражался, пока не был убит. Это случилось 5 ноября 692 г. Голову одного из последних родственников пророка отправили в Дамаск, а тело выставили в Мекке на позор. Аравия подчинилась Абд ал-Малику.

Хотя Ирак уже довольно давно признал власть Абд ал- Малика, но Омейяды не чувствовали себя спокойно в этой важной провинции, остававшейся центром хариджитской и шиитской оппозиции. На усмирение мятежного Ирака халиф снова направил Хаджжаджа. По прибытии в Куфу наместник обратился с речью к жителям, собравшимся в мечети: «Жители Ирака, я вам не винная ягода, которую можно сдавить, и не верблюд, которого можно запугать, гремя старым бурдюком… меня послал к вам повелитель правоверных. Давно уж вы упорствуете в заблуждении, блуждаете в своем ослеплении. Клянусь Аллахом! Я буду драть кожу с вас, как кору с деревьев, я скручу вас и буду бить, как ветви мимозы, и исколочу вас, как бьют чужого верблюда».

Свою клятву Хаджжадж выполнил. За время его правления от рук палачей погибло более ста тысяч мужчин и женщин. Тюрьмы были переполнены, казни вершились и днем и ночью. Особенно жестоко расправлялись с хариджитами.

После длительной междоусобной борьбы власть в халифате закрепилась за домом Омейядов, их торжество знаменовало победу Сирии, ставшей центром экономической и политической жизни государства, над отсталой патриархальной Аравией.