Не успели Османа закопать в его собственном саду, как начались выборы нового халифа. Все кандидаты были представителями курейшитов, политической и финансовой элиты арабов: избирать кого-то другого никому уже не приходило в голову. Египтяне стояли за Али, басрийцы — за Талху, куфийцы склонялись к Зубайру. Но авторитет Али перевесил, и он был единогласно избран халифом. Как зять и воспитанник пророка, женатый на его дочери Фатиме и внучке Умаме (всего у него было восемь жен), Али мог считаться естественным лидером ислама.
На следующий день новый правитель произнес речь, пообещав справедливо разделить деньги между всеми мусульманами и призвав их соблюдать благочестие, а не гоняться за мирскими благами: «Вы — рабы Аллаха, и деньги — деньги Аллаха, они делятся поровну, и нет в этом преимущества одного перед другим». Свои слова он тут же подтвердил делом, раздав все имущество Османа и выдав каждому, независимо от богатства и знатности, по три динара. Убийц Османа он не порицал и не одобрил, а в частной беседе с соратниками признал, что ничего не может сделать с мятежниками и остается только ждать, пока времена изменятся: царство шайтана не вечно. Действительно, выждав удобный момент, Али укротил и выслал наводнявших Медину чужаков и навел порядок в городе. Одновременно он разослал своих представителей по всем провинциям, чтобы утвердить свою власть на местах.
Однако положение Али было шатким. Его поддерживали в Медине, но не в провинциях, где власть по-прежнему принадлежала Омейядам. Муавия в Сирии и не думал повиноваться новому халифу. Когда в Дамаск привезли окровавленную рубашку Османа, там поклялись отомстить убийцам. Муавия демонстративно прислал Али письмо, в котором были только слова: «Во имя Аллаха, милостивого, милосердного», дав этим понять, что обсуждать нечего, пока Осман не будет отомщен. В Египте Амр аль-Ас объявил правителем самого себя: нет в Египте наместника, кроме Амра. Чтобы удержать свой пост, он присоединился к Омейядам, которых возглавлял теперь Муавия.
Али был храбр, умел хорошо говорить и даже сочинял стихи. Но в решительный момент он проявил неуверенность. Его призыв к борьбе с Муавией никто не поддержал. Абу Ваккас в ответ на его речь попросил Али дать ему меч, который может сам отличить верных от неверных: он не хочет убивать единоверцев. Коран прямо это запрещал: «Кто убьет верующего предумышленно, то воздаяние ему навечно — геенна». Больше того, недовольные халифом Талха и Зубайр бежали в Мекку и, объединившись там с Аишей, «матерью правоверных», выступили против Али. Захватив Басру, они устроили в городе побоище, казнив всех сторонников халифа. Их предводителя Ибн Хунейфа с позором изгнали, обрезав ему бороду, брови и ресницы.
Наконец, Али смог собрать 20-тысячную армию и выступил к Басре. Три дня он стоял у города, надеясь заключить мирное соглашение с мятежниками и обойтись без крови. Переговоры начали понемногу налаживаться, но ночью кучка непримиримых устроила вылазку, которая спровоцировала обе стороны на столкновение. Началось сражение, в котором Талха был убит, а Зубайр бежал с поля боя и погиб от руки какого-то бедуина. Отступавшие басрийцы сплотились вокруг верблюда Аишы и бились с отчаянием обреченных. Наконец, кто-то перерезал поджилки верблюду, и тот рухнул вместе с паланкином, накрывшим собой Аишу. На этом битва закончилась. Али проявил обычное великодушие и щедрость: запретил убивать бежавших и грабить их дома, вернул противникам все имущество и даже оружие, брошенное на поле боя. Выбравшуюся из-под обломков Аишу он просто пожурил и посадил под домашний арест. На призывы соратников расправиться с мятежной вдовой пророка Али отвечал: «Не обижайте женщину, даже если она бранью задевает вашу честь, ведь женщины — слабы». Он всеми силами подчеркивал, что считает всех мусульман братьями и не хочет преследовать противника больше, чем это необходимо.
Одержав победу под Басрой, Али направил свою армию против Муавии. Он еще раз попытался примириться с правителем Сирии и предложил ему принести присягу, как сделали все остальные, но получил отказ. Муавия прямо обвинил Али в убийстве Османа и привлек на свою сторону Амра аль-Аса, завоевателя Египта, пообещав в случае победы вернуть ему эту провинцию.
Главное сражение состоялось в 657 году у разрушенного византийского городка Сиффин. Соотношение сил армий было примерно одинаковым, по 70 тысяч с каждой стороны. Мусульмане в этой битве воевали с мусульманами, представители одного рода — друг против друга. Исход битвы долго колебался. Был момент, когда Муавия уже вскочил на коня, собираясь бежать — враг вплотную подобрался к его платке, — но Амр уговорил его остаться. Тогда, чтобы остановить затянувшуюся бойню, Али предложил решить дело личным единоборством.
Муавия благоразумно отказался, считая, что в таком поединке все шансы на стороне Али.
По преданию, бой продолжался восемь дней и восемь ночей. Воины с обеих сторон был так истощены, что почти не могли двигаться и только «кусали друг друга», как писал один из участников сражения. Утром последнего дня Малик с конницей прорвался в лагерь сирийцев, а с другого фланга ударил сам Али. Левое крыло Муавии было полностью смято, до разгрома оставались считаные минуты. И тут вдруг на копьях сирийцев появились книги: это был священный Коран. Потрясая им, они призвали именем Аллаха прекратить распрю, назначить третейский суд и разрешить вопрос как подобает мусульманам: по слову Аллаха и заветам пророка, а не в бою. И битва сразу затихла, воины перестали сражаться, несмотря на все призывы Али, кричавшего, что нельзя верить обманщикам.
Объявили перемирие и назначили третейский суд. Но еще до начала суда в лагере Али начался разброд. Сформировалась партия так называемых чтецов — истово верующих, проводивших все время в чтении Корана. Чтецы призывали чуть ли не к прямому правлению Аллаха во всех светских делах. Халиф в их учении становился почти символической фигурой, которого следовало лишать должности при любом нарушении буквы писания. Сами они называли себя хариджиты, или «выходцы», то есть «выходящие на путь Аллаха» (по другой версии — «вышедшие из повиновения, восставшие»).
В то же время начал формироваться и культ Али. Для своих приверженцев он стал носителем особой миссии, которая якобы втайне была поручена ему самим пророком. Рассказывали истории, как Али сам обмывал тело пророка, и помогали ему в этом ангелы. Так на свет появились шииты, сторонники «Шиат Али» — партии Али. Они стояли за законно избранного халифа. Преемственность халифата для них была важней, чем толкования писания.
Хариджиты между тем отделились от Али и перебрались в Нахраван в окрестностях Багдада. Там они избрали своего халифа, Абдуллу ибн Вахба.
Что же до третейского суда, то он, как и следовало ожидать, кончился ничем. Одни из судий предложили избрать халифом Муавию, другие — какое-нибудь третье лицо. Снова началась война. Но теперь лагерь Али был расколот — шииты стали преследовать хариджитов и устроили против них поход. Большинство «чтецов» рассеялось при появлении войск Али, около двух тысяч их было уничтожено. Но само движение хариджитов осталось жить и распыляло силы Али. Появились перебежчики, уходившие от Али к Муавии: в основном это были аристократы, недовольные политикой «равноправия», которую проводил благочестивый халиф и которая лишала их обычных привилегий. Жители Куфы отказались идти на Сирию, заявив, что хватит с них войн.
Началась затяжная гражданская война, состоявшая из бесконечных стычек и мятежей, которые все больше ослабляли власть халифа. Отряды Муавии совершали глубокие рейды в тыл врага, захватывали даже Мекку и Медину. В разгар междоусобицы Али был убит. В Куфе, куда он перенес свою столицу, три хариджита напали на него по пути в мечеть и проломили голову мечом. Два дня спустя он скончался в мучительной агонии. Одновременно хариджиты попытались убить Муавию и Амра, но оба спаслись по счастливой случайности: первый во время удара склонился в молитвенном поклоне и избежал смерти, а вместо второго по ошибке убили другого человека.
По описаниям современников, Али был толст и некрасив, среднего роста, очень смугл. Его белая борода, необыкновенно широкая, закрывала всю грудь, а белые волосы — цвета хлопка, как писали арабы, — гривой ниспадали на спину и венчиком курчавились вокруг лысины. В молодости он был очень воинствен и даже сына своего хотел назвать Харб — «война», но потом превратился в мирного семьянина, отрастил большой живот, за что его прозвали «пузаном», воспитывал многочисленных сыновей и дочерей и отличался большим добродушием. При всей своей личной храбрости и силе он был миролюбив и во время гражданской войны всегда до последнего старался оттянуть столкновения между арабами. Горькая ирония заключалась в том, что именно миролюбие его и погубило.