После отъезда Хусейна из Мекки главной фигурой сопротивления Йазиду стал Абдаллах ибн аз-Зубайр. Гибель Хусейна вызвала возмущение мекканцев и побудила Ибн аз-Зубайра призвать к выборам нового халифа. Все попытки Йазида договориться с ним ни к чему не привели; максимум, что ему удалось, это с помощью подкупов и подарков переманить на свою сторону нескольких его соратников. Посланный против Ибн аз-Зубайра и мекканцев двухтысячный отряд Йазида был разгромлен, а возглавлявший его Амр ибн аз-Зубайр (родной брат Абдаллаха, с которым они давно соперничали) — взят в плен и засечен до смерти.
Вскоре к восстанию присоединились и мединцы. Собравшись в мечети, они объявили Йазида низложенным: каждый демонстративно скинул с себя чалму или сандалию и воскликнул: «Вот так я низлагаю и Йазида!» Халифу ничего не оставалось, как отправить в город карательную экспедицию. Пятитысячная армия сирийцев подошла к Медине, жители которой углубили ров, выкопанный еще при Мухаммеде, и заделали проходы между домами, создав из них оборонительный вал. В завязавшейся битве перевес был на стороне мединцев, но их подвело отсутствие дисциплины: узнав, что небольшой отряд противника вошел в город с тыла, они бросились защищать свои дома и проиграли сражение. Сирийцы три дня безжалостно грабили город, убивая беззащитных горожан и насилуя женщин. После бойни оставшиеся в живых мединцев заставили не только присягнуть Йазиду, но и предоставить в его распоряжение все свое имущество и собственную жизнь, то есть фактически объявить себя его рабами. Отказавшиеся были казнены, в том числе и старые сподвижники пророка Мухаммеда.
Покончив с мединцами, армия Йазида двинулась к Мекке, где Абдаллах ибн аз-Зубайр собрал своих сторонников. Во время осады города произошел невероятный для истории ислама эпизод: сирийцы начали обстреливать из катапульт священную Каабу, возле которой расположились Ибн аз-Зубайр и его люди. Некоторые историки сообщают, что удары катапульты и последовавший затем пожар повредили Черный камень. Словно в ответ на это кощунство, из Дамаска пришла новость о смерти Йазида. На очередной охоте он спьяну упал с лошади и разбился насмерть.
Новым халифом стал его слабый и болезненный сын Муавия II, передавший управление страной в руки своего двоюродного дяди Хасана ибн Малика. Это сразу изменило расстановку сил. Сирийская армия бросила осаду Мекки и вернулась в Дамаск. Египтяне списались с Ибн аз-Зубайром, предлагая признать его своим халифом. Даже младший Зийад в Басре не проявил лояльности к Муавии-младшему и предложил басрийцам держать нейтралитет.
Положение еще больше ухудшилось, когда Муавия-младший — благостный и тихий юноша, любивший размышлять о бренности земной жизни, — публично отрекся от власти и вскоре умер, не оставив преемника. В стране началось безвластие. Брат Муавии — Халид, на которого делали ставку Омейяды, больше интересовался наукой, чем политикой, и переводил греческие трактаты по химии.
В это время неожиданно объявил себя халифом Ибн аз-Зубайр. Ему присягнули Египет и Палестина, позже к ним присоединилась и Басра, измученная беспорядками, а за ней и весь восток. Даже в Дамаске у Ибн аз-Зубайра было множество сторонников. Возможно, и сами Омейяды в конце концов согласились бы признать его власть, если бы в Дамаске вдруг не появился Убайдаллах ибн Зийад, сбежавший из Басры. Его энергичное вмешательство убедило сирийцев собрать совет и выбрать на нем халифа. Им стал Марван аль-Хакам — глава влиятельного клана хакам.
Первым делом новый халиф отправил армию в Египет. Это была стратегически важная провинция, откуда в Мекку поступали золото и зерно. Хотя египтяне присягнули Ибн аз-Зубайру, часть местной знати поддерживала Омейядов и обещала Марвану помощь. Так и произошло: когда его армия появилась у Фустата, городская верхушка договорилась о почетной сдаче города. Вместе с Фустатом в подчинении Марвана оказалась вся египетская провинция.
После египетского успеха Марван почувствовал себя достаточно сильным, чтобы объявить своим преемником не Халида, как это было решено на совете Омейядов, а своего собственного сына — Абд аль-Малика. Его предложение почти не встретило сопротивления.