S'étalant sur une superficie d'environ 19 acres, ce palais a fait office de prison lors de la lutte pour l'indépendance, les Britanniques y ayant enfermé Mahatma Gandhi, Kasturba Gandhi et Mahadeo Desai, ainsi que Miraben, Pyarelal Nair, Sarojini Naidu et le Dr Sushila Nayar. Ba (surnom de Kasturba Gandhi) et Desai sont morts d'une crise cardiaque lors de leur emprisonnement dans ces lieux. Leurs monuments commémoratifs en marbre se dressent aujourd'hui dans le complexe. Ce grand bâtiment à l'architecture italienne et entouré de topiaires est aujourd'hui le siège de la Gandhi National Memorial Society.

Ce palais a été bâti en 1892 par le sultan Muhammed Shah Aga Khan III qui l'a offert aux victimes de la famine qui avait frappé Pune à cette époque.

Le khadi, la fibre naturelle tissée à la main que Gandhiji utilisait pour filer son charkha, est toujours fabriqué ici. Plusieurs photographies et portraits de Mahatma Gandhi et d'autres dirigeants du mouvement d'indépendance sont exposés au palais. Parmi ces oeuvres, la plus émouvante et la plus impressionnante est le tableau représentant Mahatma dirigeant une marche de protestation contre les Britanniques. Les visiteurs peuvent également jeter découvrir le travail de Gandhiji au Sewagram, au village de Wardha, à 8 km. Parmi les autres éléments emblématiques du palais qui sont ouverts au public, citons la chambre dans laquelle il a séjourné avec Kasturba Gandhi, ainsi que son charkha, ses sandales et ses autres effets personnels. Le palais est aujourd'hui sous la gestion de l'Archaeological Survey of India (ASI).