奈良時代に行基がこの地に錫杖をさしたところ、清らかな泉が湧き出たため一宇を建立、閼伽寺（あかでら）と名づけたのに始まると言う。庫裏脇の庭園には明治初期からボタンが植えられ、ボタン寺とも言われる。現在２，０００株余り、４月下旬からの開花期には見物客でにぎわう。