公元前10世纪大卫的儿子所罗门继位，在耶路撒冷的锡安山上建造了第一座犹太教圣殿，即所罗门圣殿，它十分宏伟华丽，教徒们来此朝觐和献祭者不绝，从而成为古犹太人宗教和政治活动的中心。

公元前586年，巴比伦人攻占耶路撒冷，圣殿付之一炬。

　　以后重建，公元前一世纪末由希律王加以扩建，又于公元70年和135年毁于罗马人之手。

罗马帝国统治时期，绝大部分犹太人被赶出巴勒斯坦地区，流散在欧洲各地，圣殿始终未能恢复。

圣殿断垣残壁的遗址上修建起围墙　　后来，在圣殿断垣残壁的遗址上修建起围墙，虽然是伊斯兰圣地围墙西墙的一段，但犹太人仍然珍惜它，这段墙被视为犹太人信仰和团结的象征。

据说罗马人占领耶路撒冷时，犹太人常聚在这里哭泣。

常有各地犹太人来此号哭　　此后千百年中，常有各地犹太人来此号哭，以寄托其故国之思，因此便将此墙便名为哭墙。

到今天，每到犹太教安息日，都会有人到哭墙去表示哀悼，进行祈祷。