深い杉木立と清冽なせせらぎの中に、白壁土蔵造りの第1・第2展示棟，管理棟の3棟からなる。館内はたたら・民具・美術工芸の三つのコーナーに分けられ，藩政期の奥出雲の鉄師頭取(農民ながら士分格)の生活を知ることができる。記念館の右手奥にある絲原家庭園は，自然の森林を借景として出雲流の庭園として著名。また、林間散策路「洗心乃路」もある。