Le temple est l'un des plus célèbres shaktipeethas (sanctuaires où sont tombés les membres du corps de la Déesse Sati). Situé à proximité de la Kshipra, le temple abrite l'idole de Mata Harsiddhi, sa divinité patronne, mais également mes idoles de la Déesse Annapurna, de la Déesse Mahalakshmi et de la Déesse Mahasaraswati. Le SriYantra, le symbole du pouvoir ou Shakti consacré dans le temple est l'un des éléments phares de ce dernier. L'architecture du temple arbore quelques influences marathes. Le temple est composé de quatre entrées, une faisant face à l'un des points cardinaux, l'entrée principale faisant face à l'Est. Deux piliers imposants en forme d'épingle se dressent dans l'enceinte même du complexe. Ils sont recouverts de 726 porte-lumières qui sont spécifiquement illuminés lors de Navratri (un festival sacré de neuf jours) et forment alors une vue époustouflante. Outre ces deux piliers imposants, on peut également trouver dans le complexe un ancien puits dont le sommet est orné d'un pilier artistiquement sculpté. Le Skanda Purana, un texte ancien, raconte la légende passionnante selon laquelle la Déesse Chandi a reçu l'épithète de Harsiddhi, ce qui explique pourquoi ce temple a reçu son nom. Alors que le Seigneur Shiva et la Déesse Parvati étaient seuls sur le mont Kailash, les démons Chand et Prachand ont essayé de s'immiscer dans leur vie privée, et de les détruire. Pour s'en protéger, le Seigneur Shiva a fait appel à la Déesse Chandi qui les a ensuite tués.

Selon les légendes populaires, le roi Vikramaditya était un grand fidèle de Mata Harsiddhi et venait régulièrement au temple pour la prier.