加藤与五右衛門の屋敷で大正5年に磯矢氏が買い取り、平成6年に杵築市に寄贈された。かつては御用屋敷(藩主の休憩所)の敷地といわれている。現在、栗原克実美術館が併設されており、水墨画などの作品が展示されている。