相撲の元祖、野見宿禰が故郷の出雲に帰る途中この地で病死し、出雲から多くの人々が来て川からリレー式に石を運び墓を築いたとされています。また、歴代の横綱・大関が玉垣を寄進している。