Lord Rama soll panda-daan auf diesem Berg angeboten haben, so kam der Name Ramshila Berg zustande. Um den Berg herum, kann man eine Anzahl von Steinskulpturen sehen, die noch aus alten Zeiten stammen. Diese bezeugen klar, dass hier einmal ein Tempel gestanden hat. Heute steht auf dem Berg der Patalesvara oder Ramesvara Tempel. Gebaut ursprünglich im Jahr 1014 AD scheint der Tempel sich bereits mehrmals Restaurationen unterzogen zu haben. Pinda-daan wird von den Hindu Anhängern für ihre Ahnen während pitrapaksh in einem Pavillon vor dem Tempel angeboten. Dieser Pavillon wurde von den in Kalkutta basierten Krishna Basu im Jahr 1811 AD gebaut.

Der Tempel beherbergt Idole von Lord Rama, Göttin Sita und Lord Lakshmana. Anhänger können auch im Shiva Tempel auf dem Berg ihre Ehre erweisen. Der Tempel soll 300 Jahre alt sein und einen fußgroßen Shivling aus Bergkristallstein (sphatik) und ein 1,5 m hohes Idol von Lord Ganesha besitzen, hergestellt aus schmutzigen Korallen. Dieser sphatik shivling kann nur noch an zwei anderen Orten gefunden werden, Rameswarams Setu Bandh und Jammus Raghunath Tempel.