雄香寺は1695年に平戸藩主第30代松浦棟（たかし）が、的山大島（あづちおおしま）より江月庵を、現在地へと移し、松浦家の菩提寺としたものです。寺の中には松浦棟以降の藩主や側室などの墓があります。敷地内にある「開山堂（別名赤堂（あかどう））」は1987年3月に県の文化財に指定されました。