明応8年（1499年）に豪族の赤松村秀が鶏籠山に築いた。以後政秀、広貞、広秀と続いたが、天正5年（1577年）に豊臣秀吉によって開城し、秀吉はあらたに蜂須賀正勝を置いた。　江戸時代に万治元年京極高和の丸亀移転の際に破却されたが、1672年に脇坂安政によって龍野城が再建された。この際山頂の郭は放棄され、山麓居館部のみの陣屋形式の城郭になった。現在の本丸御殿は1979年に再建されたものである。　歴代城主には福島正則、池田輝政なども挙げられる。