寛文7年（1667）に本所の回向院が牢死者や刑死者を供養するために、この地に回向院を開創しました。回向院には、安政の大獄で獄死した吉田松陰や橋本左内らの墓所があります。　また、杉田玄白や前野良沢らがここで刑死者の腑分けに立会い、それをきっかけに「解体新書」を翻訳したと言われています。これを記念して、本堂入口右手に「観臓記念碑」が建てられています。