Le palais de Kaliadeh se trouve au coeur d'un paysage magnifique près du temple de Kal Bhairav et entouré de part et d'autre par les eaux de la Kshipra. Vu de loin, il donne l'impression de se dresser sur une île. Le complexe abrite des canaux et des réservoirs artificiels. En plus du paysage luxuriant qui l'entoure, le palais est spectaculaire. Les visites de l'empereur moghol Akbar et de son fils Jehangir sont consignées dans deux inscriptions qui se trouvent dans l'un des couloirs du palais. Ce dernier arbore des éléments d'architecture persane, notamment sur son dôme central, mais aussi sur les inscriptions sur les murs et la structure de la salle centrale. Le palais a été restauré dans les années 1920 par le maharaja Madho Rao Scindia après sa démolition complète par les Pindaris. Construit en 1458 par le sultan de Mandu, le palais est l'un des sites les plus emblématiques d'Ujjain. Selon la légende locale, un ancien temple du soleil se serait autrefois dressé dans le complexe, à l'instar de deux points d'eau : Surya Kunda et Brahma Kunda.