El templo Harsiddhi es uno de los shaktipeethas (santuarios devocionales donde cayeron las partes del cuerpo de la diosa Satí) más populares. Ubicado cerca del río Shiprá, posee el ídolo de Mata Harsiddhi, la deidad que preside el templo, y el Sri Yantra (el símbolo de poder o Shakti). Los turistas también pueden rendir homenaje a los ídolos de las diosas Annapurna, Mahalakshmi y Mahasaraswati.

La arquitectura del templo tiene algunas influencias Maratha. Cuenta con cuatro entradas, una en cada dirección; la principal se encuentra del lado este. Además, en el recinto, frente al templo se encuentran dos gigantescos pilares que poseen 726 porta velas que son encendidos durante el Navratri (un festival sagrado de nueve días), proporcionando una vista hermosa.

Además de estos dos voluminosos pilares, también hay un estanque antiguo en el recinto que tiene un pilar tallado artísticamente adornado en la punta. El Skanda Purana (texto antiguo) tiene una emocionante leyenda en la cual la diosa Chandi obtuvo el epíteto de Harsiddhi y por eso se le dedicó este templo. La historia cuenta que: antiguamente, cuando Shiva y Parvati estaban solos en el monte Kailash, los demonios Chand y Prachand intentaron invadir su privacidad y con el objetivo de destruirlos, por eso Shiva llamó a Chandi para que los asesinara.

Popularmente se cree que el rey Vikramaditya era un gran devoto de Mata Harsiddhi y venía regularmente a rezar.