Le temple Rudra Mahalaya (également connu sous le nom de temple de Rudramal) est un autre temple populaire de Siddhpur, construit au 10ème siècle par le roi Mularaja. Selon les légendes, il fut reconstruit par Siddharaja Jayasimha au 12ème siècle. Le temple est considéré comme étant le premier et le plus grand temple chalukyan. Réparti sur plusieurs étages, il possède 11 sanctuaires subsidiaires dédiés à Ekadasa Rudras. Les fouilles récentes ont permis de révéler quelques-uns de ces sanctuaires subsidiaires ainsi qu'une torana, deux porches et quatre piliers du kapilli du temple principal. À côté de ces derniers gisaient des colonnes gigantesques magnifiquement sculptées, d’énormes architraves et des arches de torana. Les piliers et la toran sont aujourd’hui les seuls vestiges restants du temple. Les sculptures élaborées et détaillées qui les décorent témoignent de la riche histoire des dirigeants de Siddhpur.