金剛寺は、もともと小寺でしたが、鎌倉時代に武常晴（つねはる) が3代将軍源実朝の御首（みしるし）を当寺に持参して埋葬したことに始まるといわれています。退耕行勇（たいこうぎょうゆう）を招いて木造の五輪等を建て実朝の供養をしました。 その後、実朝の法号金剛寺殿にちなみ、金剛寺と改めました。1250年（建長2年）に、波多野忠綱（ただつな) が実朝の33回忌のため再興しました。本堂には、源実朝像が安置されています。金剛寺には秦野市東田原出身の画家大津雲山の墓もあります。