この土地は豪族矢部氏の邸宅であったものを江戸時代の豪商山田彦佐衛門が買い求めた。約8千坪の広大な敷地は，主に4つの庭園から成っている。母屋北側の庭園は，大柄な石組で構成されたハナショウブ池中心で，八ツ橋型石橋もかかっている。また，御殿前池庭は海水の満干で池中の石がみえかくれするように設計されたものである。その他古い茶室も残され，庭内四季折々の景観が満喫できる。