香山寺は高山寺ともいい、弘法大師空海の開山と伝えられています。本尊の十一面観音も空海作と伝えられ、かつては７堂伽藍を有する大寺であったと云われています。嘉禎３年（１２３７年）の文書によれば幡多荘内最高の霊地として一条家（この頃は九条家）はもとより荘内一円の祈祷所でもあったと云われています。しかし、現在のお堂は明治４年の廃寺を経て、昭和３０年代に建て替えられたものです。香山寺に留錫した高僧に「南仏上人（金剛福寺別当）」がおり、その上人を彫った木像「南仏上人座像」は室町時代の作として高知県指定文化財となっており、香山寺の麓にあった南仏堂から現在は幡多郷土資料館に移され展示されています。ハイキングや森林浴に最適のスポットとして知られており、渡り鳥が多く集まるバードウォッチングのスポットとしても人気があります。また四万十市の市の花である藤の名所としても有名であり、４月中旬頃には世界中に花を咲かせる藤のなかで３２種すべてが見ることができるようになります。