Niché sur une colline calcaire verte et luxuriante, le sanctuaire rupestre de Gupteshwar dédié au Seigneur Shiva est un lieu de pèlerinage très révéré. Le sanctuaire est appelé Gupteshwar, nom qui se traduit par dieu caché. Il est ainsi nommé parce que le temple est resté caché dans la grotte pendant une très longue période. On peut y accéder en gravissant 200 marches flanquées de rangées de magnolias champacas. Structure à plusieurs chambres, l'intérieur troglodyte du temple abrite un énorme lingam. Son entrée mesure environ 3 m de large et 2 m de haut. À l'intérieur de la deuxième grotte se trouve une grande stalactite qui est vénérée comme le pis du Seigneur Kamadhenu (la vache divine).

Les fidèles attendent patiemment en dessous avec les paumes tendues pour recueillir les gouttes d'eau qui ne tombent qu'en de longs intervalles. Le sanctuaire est régulièrement visité par les habitants des villages des états voisins.

Autres attractions à Koraput