階上岳のすそ野に建ち，周辺には日本最古級の灯台（灯明堂），五重の塔跡などがある。毎年5月第3土日曜日には「寺下観音例大祭」が行われる。