江戸時代後期に開港して以来，漁船の避難港，また根拠地としてにぎわい，街には料理屋，芸奴置屋などが軒を並べていた。港街通りは，繁栄の頃の家並みを残している。港が繁栄した時代には人家が丘の上へと造成されていったので，家々は浜石を積んだ石段道の坂で結ばれている。