भगवान शिव को समर्पित, कपिलेश्वर महादेव मंदिर, पिथौरागढ़ शहर से लगभग 3 किमी दूर स्थित है। एक घंटे की चढ़ाई आपको उस स्थान पर ले जाती है जहां मंदिर कपिलेश्वर महादेव गुफा के अंदर स्थित है। गुफा के तल पर, जो 25 फीट से अधिक गहरा है, आप कपिलेश्वर महादेव के रूप में पूजे जाने वाले भगवान शिव के दर्शन कर सकते हैं जो प्राकृतिक चट्टान से निर्मित हैं। प्राचीन गुफा के अंदर जाना अपनी तरह का एक अनुभव है जो आपको वहां जाने वालों को रोमांचित करता है। मंदिर से दिखने वाली सोर घाटी और बर्फ से ढके हिमालय के मनोरम दृश्यों का आप आनंद ले सकते हैं। जैसे-जैसे पहाड़ी पर चढ़ते हैं, दृश्य और शानदार होते जाते हैं। इस ऊंचाई से धवज मंदिर को भी देखा जा सकता है। गहरी गुफा में प्रवेश और बाहर निकलने के लिए संकरी गुफाओं को पार करना पड़ता है  उन्हें पार करना किसी रोमांचकारी अनुभव से कम नहीं है।