伊東藩5万1千余石の城下町で、石垣・石段・堀跡・白い土塀で囲まれた武家屋敷等が昔を偲ばせる。飫肥杉で復元造営された平山城松尾の丸や大手門・修復された藩校振徳堂・伊東家ゆかりの品を展示する歴史資料館などがある。また、現在の商店街も江戸時代風に造りかえられている。国の重要伝統的建造物群保存地区。城下町内には、明治の外交官小村寿太郎侯の生誕地が保存されており、大手門近くに、国際交流センター小村記念館がある。飫肥城駐車場には、観光ガイドボランティアの詰所がある。