Пещеры Бхартрихари, расположенные недалеко от берега реки Киштра, на окраине города, являются популярным туристическим объектом. Пещера поддерживается каменными колоннами, в ней есть множество помещений, в которых размещены идолы или изображения индуистских божеств. Внутри также находится небольшой храм, который считается святилищем верующих общины натхов. Пещеры относятся к XI веку н.э. и являются свидетельством богатого культурного наследия Удджайна.

Легенда гласит, что пещера была названа в честь сводного брата короля Викрамадитьи, Бхартрихари, который медитировал здесь в течение почти 12 лет. Бхартрихари был поэтом и великим ученым, чьи работы включают Нитишатак, Вайраджашатак и Шрингаршатак. Пещеры имеют чрезвычайно узкие входы, пройти в которые может оказаться весьма непросто. Каждый год тысячи верующих приходят сюда, чтобы почтить память ученого; монахи секты натхов даже ставят палатки за пределами пещер и медитируют.