Tanto el segundo Califa, ‘Umar, como el tercero de ellos, Uzman, murieron asesinados por disidentes enemigos de su gobierno, con lo que se iba sentando un nefasto precedente en torno a esta figura. A la muerte de Uzman, los soldados que habían protagonizado el motín buscaron elegir un nuevo Califa, y se acercaron a diversos notables compañeros del Profeta (los Sahabas ‘Ali, Talha y Zubayr) para ofrecerles la dignidad califal. Sin embargo, todos declinaron aceptar el ofrecimiento de los rebeldes, que pudiera dejarlos comprometidos de maneras indeseables. ‘Ali se ofreció a jugar mejor un papel de consejero para elegir un nuevo designado, pero los rebeldes, al no conseguir lo que deseaban, reunieron a la población de Medina y les urgieron a que eligieran ellos mismos un nuevo Califa, dándoles para ello un plazo máximo de un día, so pena de ominosas amenazas. Así, los más notables de la comunidad medinesa se reunieron en la Mezquita del Profeta y acordaron proponer entonces a ‘Ali como sucesor, a lo que este terminó por aceptar, siempre y cuando tuviera segura la lealtad de toda su comunidad. Si bien la gran mayoría de los musulmanes de Medina reconocieron y aceptaron la designación de ‘Ali, algunos se abstuvieron de hacerlo, mientras que otros se retractarían luego, alegando que habían sido forzados a aceptar.
Y aunque ‘Ali se alzó entonces como el cuarto Califa, la cabeza visible de toda la comunidad musulmana, su elección fue contestada principalmente por la familia del anterior Califa, que le reprochaban el no haber tomado medidas contra los asesinos de Uzman. En este ambiente, el gobernador musulmán de Siria, Muawiah ibn Abu Sufyan ibn Harb, de la familia Omeya y primo de Uzman, se rebeló abiertamente contra ‘Ali, reclamando el derecho de venganza tribal sobre los asesinos de su primo, además de que reivindicaba para sí el derecho de sucesión califal, debido a sus cercanos vínculos de sangre con el difunto Califa. Las tensiones políticas se agudizaron hasta desembocar en una cruenta guerra civil, la llamada Fitna al-Kubra o Gran División, que se resolvió principalmente en dos grandes batallas, y que terminó por tener profundas implicaciones en toda la historia posterior.
En la primera de estas contiendas, la llamada Batalla del Camello, ‘Ali debió enfrentar una coalición de opositores encabezados por Talha y Zubayr, sus dos antiguos compañeros y pretendientes al califato, que contaban además con el apoyo de ‘Aisha, una de las viudas del Profeta, y que reclamaban a ‘Ali que hiciera justicia con los asesinos de Uzman. ‘Ali estaba convencido de que Uzman había muerto por causa de sus propios vicios y errores, por lo que no estaba dispuesto a ceder ante las demandas de sus contendientes. Finalmente tuvo lugar la batalla, donde ‘Ali venció, Talha y Zubayr murieron y ‘Aisha debió retirarse de la vida pública para recluirse en Medina.
Pero, a pesar de esta victoria, Muawiah no desistió en sus pretensiones, apoyado por los más ricos e influyentes miembros de su familia, lo que llevó a que un año después se enfrentara contra el Califa en una gran batalla final, en la región de Siffin, a orillas del Éufrates, la frontera sirio iraquí, en el año 657 d.C. Tras varios días de intensas luchas, los ejércitos de ‘Ali empezaron a imponerse, ante lo cual sus adversarios optaron por clavar hojas del Corán en las puntas de sus lanzas, dando a entender con esto que querían dejar la decisión final del conflicto al “juicio de Allah”, es decir, a un arbitraje. ‘Ali urgió a sus hombres a continuar luchando hasta lograr la victoria, pero encontró oposición por parte de varios grupos dentro de los suyos, quienes alegaron que no se enfrentarían al Corán y que terminaron por forzar la aceptación del arbitraje. En el desarrollo del mismo se decidió finalmente la destitución de ‘Ali, y que la Shura
Estos disidentes, opositores tanto de los Omeyas como de los álidas, pasaron a la historia con el nombre de jariyíes (de jawariyh, salirse, hacer defección de un partido o de una comunidad, por lo que su nombre podría traducirse como los salientes) y constituyeron un tercer elemento en disputa contra ambos centros de poder: Siria, bastión de los Omeyas, e Irak, fortín de los álidas. Así, en un primer momento tras la determinación del arbitraje, los jariyíes decidieron agruparse en un lugar cercano a Bagdad, llamado Nahrawan, y enfrentarse a ‘Ali en una batalla (julio de 658 d.C.) para reivindicar sus reclamaciones. Debido a la desproporción de fuerzas, este enfrentamiento desembocó finalmente en una cruenta matanza de jariyíes, por más de que la batalla debilitó igualmente las fuerzas de los álidas. Sin embargo, algo más de dos años después (a principios del año 661 d.C.), ‘Ali fue atacado mientras oraba en la mezquita de Kufa por un jariyí vengativo, quien lo hirió con una espada envenenada, lo que le causó la muerte luego de tres días de penosa agonía. Tenía aproximadamente sesenta años de edad.
Con la muerte de ‘Ali, Muawiah pudo finalmente reclamar para sí la dignidad califal, trasladando luego su sede de gobierno desde Medina a Damasco, lo que significó a partir de entonces una práctica desaparición de Arabia de la historia (La Meca solo permanecería como centro cultural), y una remisión de la importancia de Irak frente al poder de la naciente dinastía de los Omeyas en Siria. Aun así, las revueltas en territorio iraquí continuarían, tanto por parte de los seguidores de ‘Ali (quienes ahora acrecentaban su figura como mártir del Islam) como por parte de los jariyíes sobrevivientes, los cuales condenaban los privilegios de clase de la aristocracia quraishí, mantenidos y profundizados por los Omeyas. Esto ayudaría con el tiempo a debilitar la dinastía, facilitando así el posterior ascenso al poder por parte de los Abásidas.