कहा जाता है कि गणेश बाग परिसर को एक मनोरंजक स्थल रिट्रीट के रूप में बनाया गया था, इसमें भगवान शिव व अन्य देवी देवताओं को समर्पित नक्काशी से सुसज्जित एक सुंदर मंदिर और तीन कक्ष हैं, जिनमें से सभी अब खाली हैं। इस मंदिर का सबसे दिलचस्प पहलू कक्षों के सामने का फर्श है, जिस पर लूडो और चौपड़ जैसे खेलों की नक्काशी दिखाई देती है!

यहाँ आप एक सात तलों वाले कुएँ पर भी जा सकते हैं, जिसमें से केवल पहले दो या तीन तलों तक ही जाया जा सकता है, क्योंकि बाकी पानी में डूबे हुए हैं। यहाँ एक छोटा सा महल और कुछ चौड़े खुले स्थान हैं जो अब हरे-भरे मैदान में परिवर्तित हो रहे हैं ताकि आगंतुक आराम कर सकें और बाग में सैर करें। कर्वी - देवांगना मार्ग पर स्थित गणेश बाग 19 वीं शताब्दी में विनायक राज पेशवा द्वारा बनाया गया था।