Aux abords des rives de la Kshipra en périphérie de la ville, les grottes de Bhartrihari sont un lieu de visite touristique populaire. Soutenues par des piliers de pierre, les grottes sont composées de plusieurs pièces abritant des idoles ou des représentations de divinités hindoues. On y trouve également un petit temple intérieur que les fidèles de la communauté de Nath considèrent comme sacré. Datant du XIe siècle de notre ère, les grottes reflètent le riche patrimoine culturel d'Ujjain.

Selon la légende, leur nom s'inspire du demi-frère du roi Vikramaditya, Bhartrihari, qui y a médité pendant près de 12 ans. Bhartrihari était apparemment un poète et un grand érudit. Ses œuvres comptent entre autres le Nitishatak, le Vairagyashatak et le Shringarshatak. Les entrées des grottes sont très étroites, ce qui les rend difficiles d'accès. Chaque année, des milliers de fidèles viennent ici pour rendre hommage au savant ; des saints de la communauté de Nath plantent même des tentes à l'extérieur des grottes et y méditent.