717 年僧行基菩薩がこの地を訪れ、高来山に登って千手観音像を本地仏として創建。鎌倉時代になり朝鮮半島で高麗王朝が繁栄し、朝鮮を高麗と呼んでいたことから、この頃より高麗寺と呼ばれるようになる。明治元年の神仏分離によって、高麗寺は特定の檀家を持っていなかったのと東照権現を祀ってあったため廃寺となった。寺の一切の仏像関係は、現在の慶覚院に移され明治30年に高来神社へと改称されました。