Абд аль-Малик в это время был уже немолод — ему исполнилось сорок, — и имел большой опыт в политике и ведении войны. Внешне он был привлекателен: высокий, статный, большеглазый, с орлиным носом, но страдал скупостью и любил лесть. Власть попала к нему в неудачное время: халифу приходилось одновременно отбиваться от арабов на юге и византийцев на севере. Во главе Византии стоял талантливый Константин IV Погонат, не так давно разбивший флот Муавии с помощью «греческого огня». Воспользовавшись раздорами арабов, византийский император за два года отвоевал Родос, Крит и Кипр и очистил от арабов все Средиземноморье, а на суше захватил Кесарию, Антиохию и Акку. Абд аль-Малику пришлось заключить с По-гонатом унизительный мир, чтобы перебросить все свои силы на восстановление власти в халифате.

Его умелые и решительные действия быстро изменили ситуацию в стране. В течение двух-трех лет Абд аль-Малик разгромил несколько восстаний и мятежей, утвердил свою власть в Сирии и вторгся во владения Ибн аз-Зубайра. Действуя то силой, то дипломатией, то подкупом, он частью разбил, частью переманил на свою сторону большинство его союзников. С одним из них, Зуфаром, он даже породнился, женив на его дочери своего сына.

Пока Абд аль-Малик воевал на всех фронтах, Ибн аз-Зубайр продолжал пассивно сидеть в Мекке. Трудно понять, было ли это связано с его природной нерешительностью или с благочестивой уверенностью в том, что священный град ислама защитит его всякого зла. Тем временем принадлежавшая ему территория, в которую некогда входил почти весь халифат, стремительно таяла, пока в его распоряжении не осталась одна только Мекка. В марте 692 года город окружили многочисленные войска халифа во главе с его новым фаворитом — суровым и решительным ал ь-Хаджаджем.

Омейядский полководец не стал брать Мекку штурмом, а предпочел выжидать, когда у ее защитников кончится провизия. Мучительная осада продолжалась семь месяцев. В последние недели голод стал невыносимым; под конец Ибн аз-Зубайр раздал воинам все запасы своего зерна и даже скормил им своего коня, но это не помогло. Наконец, аль-Хаджадж объявил, что помилует всех, кто добровольно покинет город, и большая часть мекканцев перешла на его сторону. В их числе был старший сын Ибн аз-Зубайра — Абдаллах. Сам Ибн аз-Зубайр с младшим сыном и кучкой бойцов засел в мечети, где стояла Кааба, и упорно сопротивлялся нападавшим, которым пришлось снова обратиться к помощи катапульты. В конце концов главе повстанцев ничего не осталось, как броситься в последнюю безумную атаку и погибнуть смертью храбрых. Тело Ибн аз-Зубайра распяли в Мекке, а отрубленную голову отправили Абд ль-Малику. С гражданской войной в халифате было покончено.