西江家は江戸時代、幕領における惣代庄屋で、代官御用所を兼ねた館である。自主的行政機構として吹屋地区の「民の暮らし」を統括。郷蔵・駅馬舎・手習い場・お白洲・役宅などが現在もそのまま保存されている。また、六代目西江兵右衛門が紅柄産業に着手、成功し、吹屋ベンガラとして一世風靡した。西江家は、備北の龍と呼ばれ、備中の産業文化史として貴重な文化財である。