奈良時代、関東に悪い病気が流行していたとき、聖武天皇にこの病気を排除するよう命ぜられた行基が、鎌倉へきて、前に広がった海原と後ろの山並みがとても美しいこの場所で祈りをささげると不思議に病気がおさまったといわれ、功徳をたたえてここに寺を建てることにしたといわれる。また、1185年（元暦2）に平家を滅ぼし凱旋した源義経は、頼朝の命令にそむいたとの理由で鎌倉入りを拒まれ、頼朝の怒りを解くことに努めたが許されず、逆に追われる身となったといわれる。