天智天皇の勅願寺として法恩大師が造立したと伝えられる。法恩大師は備前四十八か寺を開創したと、岡山県各所に伝承が残るが、これを鎌倉時代にまでさかのぼって認められるのは弘法寺と金山寺(岡山市)のみである。