江戸時代初期の慶長9年（1604）に初代津山藩主森忠政の津山城築城に際して城南の覗山（のぞきやま）に移り、さらに慶長13年に現在地へ移築された。現在の本殿は、寛永12年（1635）に2代目藩主の森長継が再建したもの。