Cerca de las orillas del río Shiprá, a las afueras de la ciudad, las cuevas Bhartrihari son una popular parada turística. Soportada por pilares de piedra, la cueva tiene múltiples habitaciones con ídolos e imágenes de deidades hindúes. También hay un pequeño templo dentro que está vinculado como un santuario sagrado por los devotos de la comunidad natha. Se estipula que se construyeron durante el siglo XI d.C. y que las cuevas serían el testimonio de la rica herencia cultural de Ujjain.

La leyenda cuenta que se le dio este nombre haciendo alusión el medio hermano del rey Vikramaditya, Bhartrihari, el cual meditó aquí por 12 años. Aparentemente, Bhartrihari era un poeta y un gran erudito cuyos trabajos incluyen Nitishatak, Vairagyashatak y Shringarshatak. Las cuevas tienen entradas extremadamente estrechas y puede ser muy difícil acceder a ellas. Cada año, miles de devotos vienen aquí para rendir homenaje al erudito; incluso algunos de la comunidad natha colocan tiendas afuera de las cuevas y meditan.