藤原基房は関白藤原忠道に二男で、1172（承安2）年に関白になりましたが、平清盛と対立し1179（治承3）年に関白を罷免されこの地に配流されました。浄土寺の西側に関白屋敷があったと伝えられており、岡山藩主池田継政が建立した碑があります。