中世の美作の政治の中心地で、院庄の館（いんのしょうのやかた）だった国指定の史跡です。
鎌倉時代の末頃、後醍醐天皇が隠岐に流される途中にこの館に泊まり、その際児島高徳が館の庭の桜の幹を削って十字の漢詩を書いて天皇を慰めたという故事により、明治2年に創建されました。後醍醐天皇と児島高徳公を祀っています。