تقع كهوف بارتيري هاري بالقرب من ضفاف نهر كشيبرا، على ضواحي المدينة. وتعد هذه الكهوف معلمًا سياحيًا مشهورًا. تدعم الكهوف بعض الأعمدة الصخرية، وتحتوي على بعض الغرف التي يشغلها بعض الأصنام والصور الخاصة بالآلهة الهندوسية. كما يوجد بداخل الكهوف أيضًا معبدًا صغيرًا يعد ضريحًا مقدسًا لمعتنقي مذهب ناث. جدير بالذكر أن هذه الكهوف يرجع تاريخها إلى القرن الحادي عشر بعد الميلاد، مما يعني أنها دليلًا يشهد على التراث الحضاري العريق لمدينة أوجاين.تقول الأساطير بأن هذا الكهف قد سمي تيمنًا باسم بارتري هاري (الأخ غير الشقيق للملك فيكرام أديتيا)، والذي كان يتأمل بالكهف لقرابة اثني عشر عامًا. ويبدو أن بارتري هاري كان شاعرًا وعالمًا عظيمًا، فكان من بين أعماله كتاب نيتي شاتاك وفايراج شاتاك وشرينغار شاتاك. وتتميز مداخل هذه الكهوف بأنها ضيقة للغاية، مما يجعل من الصعب اجتيازهم. وتجدر الإشارة إلى أن الآلاف من الهندوس يقبلون على هذا المكان كل عام ليقدموا احترامهم لهذا العالم الجليل، بل إن قديسي طائفة ناث ينصبون الخيام خارج هذه الكهوف للتأمل.