宝亀元年（770）肥後を治めていた桧前中納言政丸により、日羅の子孫加津羅家に伝えられていた仏像（現本尊）を日羅の墓印として、地蔵堂を建立したのが始まりと伝えられている。日羅は、葦北国造阿利斯登の子で、百済で生まれ、達率という高位の役人となり、敏達天皇の要請により、日本に帰国したが帰路暗殺され、葦北に葬られたと日本書紀に記されている。墓所は不明。本地蔵堂境内に日羅公の碑がある。