遠山氏の初代は、武田信玄・勝頼父子に仕えた遠山遠江守景広という人物であるとされていますが、そもそも遠山氏がこの地方にいつごろ土着したかは定かでありません。
地元には、藤原氏の末裔である加藤次景廉(ただかね)という人物が、源頼朝から信州遠山庄の地頭に任じられ、移り住んだという伝承があります。
この伝承はどうやら史実ではなさそうですが、鎌倉時代末期の古文書に、信州遠山に地頭がいたことが明記されており、室町時代の応永7年(1400)に信州で勃発した大塔合戦にも「遠山出羽守」なる人物が参戦していることが明らかになっています。
静岡県水窪町には、遠山氏の遺品であるという素焼の壷が伝えられており、これには鎌倉時代初期にあたる承元2年(1208)の年号が刻まれています。
遠山郷の神社の多くは「鎌倉正八幡社」と号しており、多くの系図や伝承でも、遠山氏の先祖は鎌倉からやってきたと伝えています。
こうしたことから、遠山氏は早ければ鎌倉時代、遅くとも室町時代にはこの地に住み、周辺の地方豪族たちと対等に渡り合っていたと想像できます。
そして戦国時代に入り、遠山氏は歴史の表舞台に登場してくるのです。

家康に謁見する土佐守の像
(遠山氏家紋)
龍淵寺に残る遠山一族の墓