烏帽子岩の東に磯崎神社があり、日本武尊をまつっています。
地元には、日本武尊が坂本（琵琶湖の南）より船で松原（彦根市）に上陸して、
伊吹山の賊を討ったが、熱病にかかって居醒の清水（醒ヶ井）で回復したものの
磯山近くで亡くなったとされています。
墓印に置いた岩が烏帽子岩とされています。