曽我兄弟の霊を弔って堂を建てたのが始まりと伝わる。毎年5月28日に、曽我の傘焼まつりが行われる。