鎌倉幕府の評定衆に任じられ、貞永式目の制定に参画した中条家長が、祖父常光らの菩提を弔うために自らの館を寺としたのが常光院です。　周囲には堀や土塁が残り、中条氏館跡として県指定史跡となっています。