敷地4977坪の境内には本殿、幣殿、拝殿、社務所、神楽殿、文庫が建ち並びます。第12代景行（けいこう）天皇が皇子日本武尊（やまとたけるのみこと）の御東征の跡を巡視した折、当地に一社を営み玉依姫命を祀られましたとされています。源頼朝の合戦に力を発揮した千葉常胤の六男、胤頼（たねより）がこの地の領主となったことから、神官はそれまで名乗っていた東（とう）氏を差し出し、君主の飯田郷の飯田（いいだ）を名乗りました。