明治37年に建てられた旧高梁尋常高等小学校本館で木造2階建の洋風建築であり、江戸時代から昭和初期にかけての生活用具など3,000点を展示している。玄関横には山田方谷の銅像がある。