Foi depois do retorno da Babilônia que começou a se desenvolver a religião que costumamos chamar de judaísmo. O núcleo do judaísmo era a vida na sinagoga, local de culto onde os fiéis se reuniam para orar e ler as escrituras. Esse tipo de serviço religioso surgira por necessidade durante o exílio babilônico, uma vez que ali os judeus não tinham um templo onde orar. Ao voltar do exílio, eles continuaram praticando esse serviço nas sinagogas, que foram construídas em diversas cidades.
Nas sinagogas, uma função relevante era exercida pelos leigos versados nas escrituras, os quais zelavam por elas, e buscavam interpretá-las e explicá-las. Não tardou que a maioria desses homens instruídos passassem a vir das fileiras dos fariseus.
Os fariseus davam muita importância à Lei escrita nos cinco primeiros livros de Moisés — o Pentateuco —, e também às normas relativas à limpeza e ao asseio; procuravam interpretar a Lei segundo as novas condições que prevaleciam. Nessa época, o papel do Templo já se tornara secundário.
O grande Templo de Jerusalém, destruído durante a conquista babilônica de 587 a.C., foi reerguido em 516 a.C. O sumo sacerdote, os demais sacerdotes e os levitas a eles subordinados eram responsáveis pelo culto, que compreendia o sacrifício diário de um cordeiro em expiação pelos pecados do povo. Após o exílio babilônico, o sumo sacerdote se tornou líder do Sinédrio, o conselho dos anciãos, que mais tarde incluiu ainda representantes dos homens mais instruídos.
Nessa época, os judeus caíram seguidas vezes sob o domínio político estrangeiro. No ano 70 d.C., uma revolta contra os romanos levou ao saque de Jerusalém. O Templo, que recentemente fora ampliado e transformado num esplêndido edifício pelo rei Herodes, foi outra vez arrasado; isso selou o fim do papel desempenhado pelos antigos sacerdotes. Dessa época em diante, foi o novo formato de judaísmo, centrado nas sinagogas, que passou a predominar. Muitos judeus estavam agora dispersos pelas terras do Mediterrâneo ou ainda mais longe. Eram chamados de judeus da Diáspora, palavra grega que quer dizer “dispersão”.