मान्यता है कि इसी जगह पर भगवान राम ने अपने पूर्वजों का पिंड-दान किया था इसीलिए इसका नाम रामशिला पड़ा। यहां आसपास प्राचीन काल से जुड़ी पत्थर की कई आकृतियां भी देखी जा सकती हैं। इससे यह भी ज्ञात होता है कि किसी समय यहां कोई मंदिर रहा होगा। अब इस पहाड़ी पर जो मंदिर है जिसे ‘पातालेश्वर’ या ‘रामेश्वर’ कहा जाता है। मूलतः सन् 1014 में बने इस मंदिर को देख कर लगता है कि इसका कई बार जीर्णोद्धार किया गया होगा। इसी मंदिर के सामने बने मंडप में पितृ-पक्ष के दिनों में हिन्दू श्रद्धालुओं द्वारा अपने पूर्वजों का पिंड-दान किया जाता है। यह मंडप सन् 1811 में कोलकाता के कृष्णा बासु ने बनवाया था।इस मंदिर में भगवान राम, माता सीता और भ्राता लक्ष्मण की प्रतिमाएं विराजमान हैं। श्रद्धालु यहां बने शिव-मंदिर के दर्शन भी कर सकते हैं। करीब 300 साल पुराने बताए जाने वाले इस मंदिर में स्फटिक का बना एक फुट ऊंचा शिवलिंग और अशुद्ध मूंगे पत्थर से बनी गणेश की पांच फुट ऊंची एक प्रतिमा है। स्फटिक से बना शिवलिंग यहां के अतिरिक्त केवल दो और मंदिरों-रामेश्वरम के सेतु बंध और जम्मू के रघुनाथ मंदिर में स्थापित है।