若狭彦神社は、若狭彦神社(上社)と若狭姫神社(下社)の二社からなる。共に遠敷川の左岸、上流に上社が、下流に下社が鎮座する。両社の社殿配置は同一で、共に巨樹・古木の鬱蒼と茂る中に本殿が静かに鎮座し、神さびた風情を漂わせている。
社伝によると、上社の創建は霊亀元年(715)、下社は養老5年(721)であり、下社は上社より分祀されたとも伝える。近隣では遠敷明神と呼ばれて親しまれ、また朝廷や武家からの崇敬も篤かった。明治4年に両社は共に国幣中社に列格したが、のちに若狭彦神社へ包括された。
祭神が降臨したという鵜の瀬は、奈良県の東大寺二月堂の若狭井に通じているとされ、上流150ｍの対岸に創祀の社と伝える白石神社がある。二月堂の右裏手には遠敷明神を祀る遠敷神社が鎮座している。