Ein weiterer beliebter Tempel in Siddhpur ist der Rudra-Mahalaya-Tempel, auch bekannt als Rudramal-Tempel. Dieser Tempel wurde im 10. Jahrhundert von König Mularaja errichtet und der Legende nach wahrscheinlich im 12. Jahrhundert von Siddharaja Jayasimha rekonstruiert. Der Tempel soll der erste und größte Tempel der Chalukya-Ära sein. Es handelt sich dabei um ein mehrstöckiges Bauwerk, das über 11 Nebenschreine verfügt, die Ekadasa Rudras geweiht sind. Ausgrabungen haben einige dieser Nebenschreine, eine Torana, zwei Vordächer und vier Säulen des Haupttempels Kapilli zum Vorschein gebracht. Daneben wurden wunderschön geschnitzte riesige Säulen, riesige Architrave und Torana-Bögen gefunden. Die Säulen und die Torana bilden heute die Überreste des Tempels. Die dazugehörigen aufwändigen und detaillierten Schnitzereien zeugen von der reichen Vergangenheit der Herrscher von Siddhpur.