Également connues sous le nom de grottes de Mahakala, les grottes de Dungeshwari sont situées à 12 km au nord-est de Bodh Gaya. Dans ce lieu, le Bouddha aurait médité pendant six ans avant d'aller à Bodh Gaya pour atteindre l'Éveil. Une sculpture en or du Bouddha émacié, commémorant sa pénitence rigide, est conservée dans l'un des temples de la grotte. Une autre grotte abrite une statue du Bouddha, d'1,80 m, un hommage à cette phase de la vie du Bouddha.

Il existe un mythe populaire associé à ces temples troglodytes et on raconte que pendant son auto-mortification, Gautama (un autre nom du Bouddha) est devenu décharné. Une gardienne de vache du nom de Sujata fut émue par sa maigreur et lui offrit de la nourriture et de l'eau. Plus tard, Gautama réalisa que l'éveil ne peut pas être atteint par l'auto-mortification, il poursuivit donc son voyage vers Bodh Gaya. L'un des temples troglodytes est dédié à la déesse hindoue Dungeshwari.