文武天皇慶雲4年(707)に長良嶽の麓、鵜の羽川近くに社を建て、鏡作神を奉祀したと伝える。貞観6年(864)官社に列し、{延喜式}では美作国唯一の名神大社であり、永保元年(1081)には正一位の神階を授かる。平安時代の『今昔物語』には当社の猿神伝説があり、国家非常時(元寇など)には勅命により国家安穏の祭祀を奉仕したとされる。
建武中興より約四百年間は国中戦乱となり、永正8年(1511)と天文2年(1533)に宝物・古文書等悉く焼失した。永禄5年(1559)出雲国の尼子晴久が戦勝の御礼に社殿を再建し、以後歴代藩主の崇敬篤く、明治四年に国幣中社となった。
銅鏡生産や銅鉄の採鉱・冶金の守護神であり、現在も鍛金・冶工・採鑛等、農耕・牛馬の守護神として広く崇敬されている。
本殿は単層入母屋造、桧皮葺の宏壮雄大なもので、これに向拝・釣殿を付け拝殿へと続く形式は、他地方に例のないことから[中山造]と呼び、美作の多くの神社の模範とされた。