本神社の創祀年代は不詳であるが、天安元年と伝えられている。明治以前は祠頭大明神と称し、東西粟倉の庄の総鎮守であり、歓請の本社は美作一宮中山神社である。貞観４年以前は、東西粟倉の庄の氏子が祭事を奉仕したが、争論がよく起こったので、東西粟倉に分社することに定め、中山神社に参拝して、その区域の指示を仰ぎ八社に奉斎した。このことは、中山神社旧記および中山神社明細帳に明記せられている。 　寛永一三年八月、社殿の再建に際し、美作国従四位森永継公はこの費用の一部を寄進した。その遺臣安東常直が享保一九年九月、石燈籠一対を寄進 した。宝暦九年九月、京都仁和寺宮の侍臣鳴瀧兵部が大提灯を寄進した。文化六年津山藩主松平侯の家老が寄進した大石燈籠一対が現存している。 　明治以降、粟倉神社と改称したが、粟倉庄十二ヶ村（八社）の総鎮守社を意味している。