学校創設者池田光政の遺徳をしのんで、貞享3年（1686）に建立した。当初は東御堂、芳烈祠と称していたが、明治8年に祖父輝正、父利隆を合祀、閑谷神社と改称した。光政の金銅座像が安置されている。堂宇8件は重要文化財。