기원전 7세기까지 거슬러 올라가면, 한 개의 사암으로 조각된 운다발리 동굴은 인도의 암석을 깎은 건축 유산의 대표적인 예다. 이 동굴의 매력적인 디자인은 고대 비스와카르마 건축가들과 사원 건축가들의 진보된 건축기술에 대해 말해준다. 이 동굴들은 서기 420년에서 620년 사이에 인도의 중요한 부분을 지배했던 영향력 있는 비슈누쿤디나 왕조와 관련이 있다고 한다. 이 동굴들은 굽타 건축의 훌륭한 표본이기도 하며, 2층의 세부적인 디자인은 찰루키아 건축을 반영한다. 가장 큰 동굴은 4층으로 되어 있고 비스누 경의 거대한 동상이 비스듬히 놓여 있다. 이 조각품은 화강암 한 덩어리로 조각되었다고 한다. 이 동굴의 첫 번째 창고에는 자인 승려들의 거처 역할을 한 적이 있다는 것을 암시하는 자인 티르코마라(성인)의 조각상들이 있다. 1층 벽에는 신화적인 이야기에서 나오는 장면을 묘사한 놀라운 프레스코화가 깔려 있다. 3층 정면에는 사자와 코끼리의 묘사를 포함한 수많은 조각품들이 전시되어 있다. 근처에는 브라흐마 경, 비슈누 경, 시바 경에게 바치는 또 다른 독특한 동굴이 있다.

운다발리 동굴의 건축물과 녹색 주변은 부바네스와르의 우데이기리 동굴을 연상시킬 것이다.