矢嶋家は、「肥後の猛婦」・「四賢婦人」と称され、近代日本における女子教育や婦人運動に尽力し、男女共同参画社会の礎を築いた竹崎順子・徳富久子・横井つせ子・矢嶋楫子姉妹など多くを輩出しています。矢嶋家は、幕末の思想家で明治新政府に参与となった横井小楠との関係が深く、矢嶋直明・直方（源助）をはじめ、矢嶋家姉妹の配偶者も門下生として小楠に師事しました。また、雑誌『国民之友』、『国民新聞社』を主宰した近代日本を代表する言論人徳富蘇峰も、文久3（1863）年に徳富一敬・久子夫妻の長男として母方の実家であるこの家で生まれています。生前の蘇峰は度々この家を訪れ、昭和27（1952）年には『生誕之記』を執筆し、潮井神社境内に記念植樹をしています。　　　この「四賢婦人記念館」は、江戸後期（約200年前）に益城町杉堂に建てられた家屋を移築したものです。館内には、矢嶋家や徳富蘇峰に関する古文書や生活用品等を多数展示してあります。また、記念館の敷地内には「四賢婦人誕生地之碑」があります