También conocidas como Cuevas de Mahakala, las Cuevas de Dungeshwari están a 12 km al noreste de Bodh Gaya. Se cree que el señor Buda meditó aquí durante seis años antes de ir a Bodh Gaya para alcanzar la iluminación. Uno de los templos de las cuevas tiene una escultura dorada de un Buda muy delgado que conmemora su inclemente penitencia. En otra cueva hay una estatua de Buda de aproximadamente 1,8 m de altura que rinde homenaje a esta etapa de la vida del Buda.

Hay un mito popular relacionado con estos templos de cuevas y se dice que, durante su mortificación, Gautama se volvió muy delgado. Conmovido por su aspecto débil, un pastor de vacas llamado Sujata le ofreció comida y agua. Luego, Gautama comprendió que la iluminación no se puede alcanzar por medio de la mortificación y continuó su camino hacia Bodh Gaya. Uno de los templos de cuevas está dedicado a la diosa hindú Dungeshwari.