谷の番戸家が庄屋をしていた時、飢饉があり苦しんでいるとき、殿様から年貢の納入を強くせまられ、年貢を軽くしてもらうように出かけたのを村人達が誤解をして、河合山で待ち伏せをして庄屋と娘さんを殺したといわれている。その後、谷の平穏を祈り、村人が番戸神社を建立し供養するようになったと伝えられている。