毛利氏の出、元為(後に出家して僧法専)が天台宗の寺を開き、後に浄土真宗に改宗される。寺には天正4年(1576)石山の合戦で、毛利軍の船に幟を立て食料を運んだ際の幟に下げた錘が保存されている。石垣は「忍び返し」がついているためいざという時、城として使おうとしたのではないかといわれている。