Расправа с Хусайном обеспечила Омейядам на некоторый срок спокойствие в Ираке, но в Мекке и Медине продолжала действовать оппозиция во главе с Абдаллахом ибн аз-Зубайром. Халиф Йазид безуспешно пытался добиться повиновения священных городов. Делегация Медины, побывавшая по приглашению Йазида в Дамаске, по возвращении с негодованием рассказывала о разгульной жизни халифа и его приближенных. «Мы вернулись от человека неверующего», говорили они в Медине, «он пьет вино, перед ним играют на арфах певицы, кругом собаки, он проводит ночи с воришками верблюдов и развратниками».

Эти рассказы возбуждали мусульман против Омейядов. Недовольство переросло в открытый конфликт из-за правил пользования землей, которые наместник халифа ввел в ущерб интересам большинства владельцев.

Жители Медины во главе со всеми уважаемыми почтенными старцами, помнившими пророка, собрались в главной мечети. Халифа провозгласили отступником от веры. Каждый мединец бросал на пол мечети часть своей одежды, кто чалму, кто сандалию, и приговаривал: «Так я отвергаю халифа Йазида».

Наместник и члены рода Омейя были изгнаны из города. Йазид послал против восставших войска, состоявшие в основном из сирийских арабов-христиан. В сражении 27 августа 683 г. недалеко от границ Медины они одержали полную победу. В битве пали многие из сподвижников Мухаммада. Впоследствии арабские историки, враждебно относившиеся к династии Омейядов, приписали победителям зверскую расправу над жителями Медины и разграбление города. Однако их сообщения сомнительны. Разорение священного города было не в интересах халифа.

После победы над Мединой войска двинулись к Мекке и окружили ее. С помощью осадных машин многие здания города были разрушены. Защитники Мекки укрылись за стенами мечети. Камни из катапульт долетали до площади, где стоит Кааба. Через несколько дней после обстрела от случайной искры вспыхнул пожар, не пощадивший Каабу – сгорели деревянные части стен и раскололся Черный камень.

Известие о смерти Йазида (ноябрь 683 г.) заставило снять осаду. В халифате начиналась ожесточенная борьба за власть. В Хиджазе, Ираке, Южной Аравии халифом был провозглашен Абдаллах ибн аз-Зубайр, даже некоторое области Сирии признали его халифом. Большая же часть сирийских племен поддержала Омейядов. Сын Йазида Муавийа II, будучи человеком слабым и нерешительным, почти три месяца тянул с присягой и, в конце концов, объявил, что отрекается от престола. Не успев даже объявить своего преемника, Муавийа II внезапно скончался.

Новым халифом стал старейшина рода Омейядов Марван ибн ал-Хакам (684–685). В первый же год правления Марван сумел подчинить сирийские племена, ранее поддерживавшие Абдаллаха ибн аз-Зубайра и привлечь на свою сторону некоторые силы в Египте. В 685 г. Марван был задушен собственной женой, вдовой Йазида, мстившей ему за отказ объявить наследником престола Халида – сына Йазида.