Las Cuevas de Undavalli, que datan del siglo VII AC, talladas en una sola piedra arenisca, son un excelente ejemplo del patrimonio arquitectónico rupestre de la India. El atractivo diseño de las cuevas dice mucho de las avanzadas habilidades arquitectónicas de los antiguos arquitectos y constructores de templos de Viswakarma. Se dice que las cuevas se asociaron con la influyente dinastía Vishnukundina, que gobernó sobre importantes partes de la India entre los años 420 y 620 DC. Estas cuevas son un buen ejemplo de la arquitectura Gupta, y el diseño detallado del segundo piso refleja la arquitectura chalukyana.

La cueva más grande tiene cuatro pisos y aloja una enorme estatua del Señor Vishnu en una postura reclinada. Se dice que esta escultura fue tallada en un solo bloque de granito. La primera planta de las cuevas alberga esculturas de los tirthankaras Jain (santos), lo que sugiere que alguna vez sirvieron como hogar para los monjes jainistas.

Las paredes del primer piso están cubiertas con fabulosos frescos que representan escenas de historias mitológicas. El frente del tercer piso alberga varias esculturas que incluyen representaciones de leones y elefantes. Cerca, hay otra cueva dedicada exclusivamente al Señor Brahma, al Señor Vishnu y al Señor Shiva. La arquitectura y los espacios verdes alrededor de la cuevas de Undavalli le recordarán las cuevas de Udaygiri de Bhubaneswar.

Otros lugares de interés en Amarāvatī