平安時代に記された『延喜式』神名帳（じんみょうちょう）には、中央政府と関わりが深い、もしくは霊験（れいげん）あらたかと認められた神社が載せられています。旧筑後国では4 社が記されていますが、そのうちのひとつが御勢大霊石神社です。この神社には、仲哀天皇（ちゅうあいてんのう）と神功皇后にまつわる伝承が残されています。仲哀天皇は熊襲征伐（くまそせいばつ）の際、ここに行宮（あんぐう）を設けましたが、敵の矢を受けて亡くなります。その後、神功皇后が代わりに戦いにのぞみ、熊襲征伐ののち朝鮮半島に出兵したときには、仲哀天皇の御魂代（みたましろ）の石を軍船に乗せました。この石は帰国したあとに御勢大霊石神社に祀られたと伝えられています。
力武竈門神社（りきたけかまどじんじゃ）地元力武の氏神として信仰されている神社で、玉依姫命（たまよりひめのみこと）と高良玉垂命（こうらたまたれのみこと）の母宮にあたる山下影姫命（やましたかげひめのみこと）が祀られています。小郡市には、力武の他に三沢の古賀・西島にも「竈門神社」と名付けられた神社があり、いずれも太宰府市の竈門神社への信仰（宝満信仰）と関わるものと考えられます。寛延2年（1749）に記された『寛延記』に「玉母宮、氏神、山下影姫命の神廟也、御跡の経塚と申し伝え候」との記述が残されています。
真言宗の寺院で、行基（ぎょうき）によって天平年間（729）に開かれたという伝承が残っています。現存する建物に「正安三年（1301）」の棟札（むなふだ）が残っており、お寺そのものは少なくともそれ以前の創建であると考えられます。毎年１月には、修験姿の僧侶や参拝者が護摩木（ごまぎ）の燃えた火灰の上を歩く「火渡り」の行事が行われており、新年の開運と無病息災を願う人びとが大勢参加しています。また、本尊である如意輪観音立像（福岡県指定有形文化財）は、平安時代の作と考えられる木像で、古くから「子安観音」として筑後地方で信仰を集めてきました。12 年に1度、巳年に拝観することができます。
神社の縁起によると、昔この場所に生えていた松の梢に、高御産巣日神（たかみむすびのかみ）がその身をやつした鷹がとまったことから、隼鷹神社の名で社が造られることになったと言われています。現在でも、本殿にはご神体として鷹像が安置されており、祭神として高御産巣日神が祀られています。また、その松は枯れてしまったので、代わりにクスが植えられ、それが現在ご神木とされている大クスであると伝えられています。毎年11 月には、五穀豊穣・家内安全を願うオクンチである「早馬祭（はやうまさい）」（小郡市指定無形民俗文化財）が行われています。