Die Dungeshwari Höhlen auch bekannt als Mahakala Höhlen liegen 12 km nordöstlich von Bodh Gaya. Lord Buddha soll an diesem Ort sechs Jahre lang meditiert haben, ehe er nach Bodh Gaya ging, um die Erleuchtung zu erhalten. Eine goldene abgemagerte Buddha Skulptur erinnert an seine starre Buße und ist in einer der Höhlen Tempel verankert. Eine weitere Höhle beherbergt eine große Statue von Lord Buddha, sie ist über 1,80 m hoch und soll dieser Phase des Lebens Buddhas Tribut zollen.

Es gibt einen bekannten Mythos im Zusammenhang mit diesen Höhlentempeln, man sagt, dass Gautama während seiner Selbstkasteiung abmagerte. Eine Kuhhirtin names Sujata war von seiner schwachen Erscheinung gerührt und bot ihm Essen und trinken an. Später erkannte Gautama, dass Erleuchtung nicht durch Selbstkasteiung stattfindet und reiste weiter nach Bodh Gaya. Einer dieser Höhlentempel ist der Hindu Göttin Dugeshwari gewidmet.