八幡太郎義家が奥州遠征の途中、軍を休めたときに鞭を、桂木稲荷神社の境内の土に突き刺しそれを忘れて出発してしまい、今のようなこの大きな木になったという伝説がある。