聖武天皇の神亀元年（724年)豊前守男人、藤井連毛が勅を奉じて宇佐小倉山に神殿造営の命で築城郡安岐之水戸（湊）の金富の岡に神幸されることとなり、社殿を建立。名前が移り変わり、今日では金富と称される。名前が「金」・「富」のため、宝くじ当選祈願の参拝者もいる。２月の初卯の日、榊山神事が行われる。