Localizada en una exuberante colina de piedra caliza verde, la cueva de Gupteshwar es un santuario del Señor Shiva, un lugar de peregrinaje altamente reverenciado. El santuario es llamado Gupteshwar, que significa el dios escondido. Se le llama así porque el templo estuvo escondido en una cueva durante un largo período. Uno puede alcanzarlo luego de subir 200 escalones flanqueados por hileras de árboles champak. El cavernoso interior del templo atesora un enorme lingam y la cueva es una estructura de varias cámaras. Su entrada tiene alrededor de 3 metros de ancho y 2 metros de alto. Dentro de la segunda cueva hay una gran estalactita, la cual es adorada como la ubre del Señor Kamadhenu (la vaca divina).

Los devotos esperan pacientemente debajo de la estalactita con las palmas de sus manos extendidas para recolectar las gotas de agua que caen en largos intervalos de tiempo. El santuario es visitado regularmente por gente de las aldeas cercanas y estados vecinos.