この山にはかつてこのあたりを支配していた赤穴氏の居城・瀬戸山城があり、現在も当時の石垣跡が残っている。戦国時代には大内・毛利の大軍に攻められた。特に天文11年（1542）の攻城戦では、城主が戦死するも、大内軍を２か月もこの地に留めさせ、大内軍の出雲攻略を失敗させる要因となった。