1054年に源頼朝が台風下に無事に大浜に渡れたことを感謝し、紀州熊野権現の分霊を請い、上の森に仮宮を創建して奉祀したのが始まり。戦国時代に徳川家康から矢場の設置を許された射小屋と矢取塚は県の文化財です。