लगभग 19 एकड़ के क्षेत्र में फैले इस महलनुमा भवन का इस्तेमाल कभी महात्मा गांधी, कस्तूरबा गांधी और महादेव देसाई के साथ-साथ मीराबेन, प्यारेलाल नायर, सरोजिनी नायडू और डॉ. सुशीला नायर के लिए अंग्रेजों द्वारा जेल के रूप में किया गया था। भारत छोड़ो आंदोलन के दौरान कैद, दोनों बा (जैसे कि प्यार से कस्तूरबा गांधी को पुकारा जाता था) और देसाई की इसी के परिसरों में दिल का दौरा पड़ने से मृत्यु हुई थी। संगमरमर से बने उनके स्मारक अब यहां खड़े हैं। इटली की वास्तुकला और सुंदर ढंग से बनाए गए बगीचों के साथ, यह भव्य इमारत आज गांधी राष्ट्रीय स्मारक सोसायटी का मुख्यालय है। सुल्तान मुहम्मद शाह आगा खान तृतीय ने 1892 में इस महल का निर्माण परोपकार के रूप में उन लोगों के लिए किया था जो उस समय अकाल से काफी प्रभावित थे जो उस समय पुणे में बुरी तरह से फैला था।

गांधीजी अपने चरखे पर कात कर जिस हाथ से बने प्राकृतिक रेशे को बनाते थे, वह खादी आज भी यहां बनती है। महात्मा गांधी और स्वतंत्रता आंदोलन के अन्य नेताओं की कई तस्वीरें और चित्र भी यहां हैं। इनमें से एक सबसे प्रभावशाली और अभिभूत करने वाली महात्मा की एक झांकी है जिसमें अंग्रेजों के खिलाफ विरोध यात्रा की गई थी। वर्धा के गांव में 8 किमी की दूरी पर स्थित सेवाग्राम में भी पर्यटक जा सकते हैं। महल के अन्य मुख्य आकर्षण जो जनता के लिए खुले हैं, वह कमरा है जिसमें वह कस्तूरबा गांधी के साथ रहे, साथ ही साथ उनका चरखा, चप्पल और अन्य व्यक्तिगत सामान भी वहां रखे हैं। अब इसे भारतीय पुरातत्व सर्वेक्षण (एएसआई) ने अपने अधिकार में ले लिया है।