遠藤盛数が永禄２年（１５５９）に築いたという。その子慶隆は天正１５年（１５８７）秀吉のために左遷されるが、家康のとき復帰した。その後、城主は井上、金森氏を経て宝暦８年（１７５８）以来青山氏が代々、四万八千石を領して明治にいたった。現在、天守台跡には昭和８年に大垣城を模して造られた天守閣・隅櫓・城門・塀が立つ。