この武家屋敷は昔のままの姿を残している唯一の上級武士の家屋で（別名渡辺邸ともいう）、渡辺氏は家老格の名門で百六十石でした。
老朽化のため昭和61年に修復した際に土蔵を展示館とし、武家に関する資料を展示しています。