El palacio de Kaliadeh, que desde lejos parece una isla, está cerca del templo Kal Bhairava y el río Shiprá fluye a ambos lados de él. Dentro del complejo hay canales y tanques hechos por el hombre que, junto con el hermoso paisaje, hacen que el palacio tenga una vista espectacular. Este palacio es uno de los lugares más importantes de Ujjain y fue construido por el sultán de Mandu en 1458 d.C. Cabe destacar que fue restaurado en la década de 1920 por Maharajá Madho Rao Scindia después de que fuera demolido por completo por los Pindari. Se dice que había un antiguo templo del sol en el recinto con dos cuerpos de agua – Suryakunda y Brahma Kunda. Se pueden observar rastros de la arquitectura persa en el domo central del palacio, además de inscripciones en las paredes y corredores, entre las cuales, aparecen las visitas del emperador mogol Akbar y su hijo Jehangir.