Quando Maomé morreu, os muçulmanos passaram a ser liderados por califas, ou sucessores. Os três primeiros califas eram parentes do profeta ou estavam entre os primeiros convertidos. O quarto califa, que se chamava Ali, era filho do tio de Maomé, Abu Talib, e portanto seu primo. Mas Ali era também genro de Maomé, casado com sua filha, Fátima.
O cisma no mundo islâmico começou na época de Ali. Sua liderança foi repleta de controvérsias, e ele acabou assassinado pelos adversários. Desde a morte de Maomé, seus seguidores acreditavam que Ali, por ser o parente mais próximo do profeta, era o sucessor natural. O partido de Ali, ou Shiat Ali, formou a base para o ramo do islã que hoje é conhecido como Shia, adotado como a religião oficial do Irã.
Assim, a principal dissidência no islã não foi causada por uma divisão ideológica, mas por um desacordo sobre quem devia ser o líder. A facção xiita (Shiat Ali) acreditava que o líder devia ser um descendente direto do profeta, ao passo que a facção maior, a sunita, julgava que a liderança cabia ao indivíduo que de fato controlava o poder.
Após a morte de Ali, o califado teve sede em Damasco por algum tempo e a seguir instalou-se em Bagdá, onde permaneceu por um período de quinhentos anos. Depois disso, a liderança passou para o sultão turco de Istambul. O último sultão foi derrubado em 1924, e desde então o mundo islâmico deixou de ter um califa como líder.