三河守護代西郷稠頼が康正元年（１４５５）に築いたと伝わる。大永４年（１５２４）松平清康が奪取して居城とする。清康の孫が徳川家康で天文１１年（１５４２）この城で誕生した。天正１８年（１５９０）家康の関東入部後は、田中、本多、水野氏を経て明和６年（１７６９）から本多氏が代々、五万石を領した。現在、城跡は公園として開放され、本丸には、昭和３４年に復元された天守閣、二ノ丸跡などがある。