約800年前の源平の戦いで、平家は８才の安徳天皇を奉じて屋島から壇ノ浦に下る途中に対岸の能美島王泊に行在所が設けられた。この時、旅の疲れを慰めるため、藤脇にご来遊になられた。住民はこの悲運の天皇を偲び約１５０年前の天保13年(1842)この地に石塔を立て、天皇を祀ったと伝えられている。