平安時代初期、平城天皇の大同２年(807年)に創立され、旧号は四所大明神といわれ、往古より村人の崇敬を受けていました。安政４年に高野神社の社号を下賜されています。拝殿の後方には見事なご神木が高々と構えており、荘厳な雰囲気をかもしだしています。