小浦に宮ができたのは応永三年（1396年）の事だという。貴人夫婦の物語が里に伝わっておりそれが御霊神社の始まりであるという。今の本殿は天保年間に建てられたものであるというが、拝殿は、狛犬、大灯篭、手水石などとともに大正天皇の御典記念として大正四年（1915年）に建てたものである。