鋸歯状に山頂が、五つの剣のように切り立っていることから「五剣山」と呼ばれている。別名「八栗山」とも言われる。現在は、5つの峰のうち東の峰は1707（宝永4）年の大地震で崩壊し、正確にいうと「四剣山」となっている。この山のふもとに、八栗寺がある。