Früher besuchte der Gouverneur von Madras Udhagamandalam (heute Ootacamund) nur gelegentlich für ein paar Monate, um dem schwülen Sommer von Madras zu entkommen. Als die Briten die Schönheit des Nilgiris-Distrikts entdeckten, waren sie der Meinung, dass sich das Klima in Udhagamandalam mit dem der Schweiz vergleichen lässt und machten die Stadt zu ihrer Sommerhauptstadt in Südindien.

Raj Bhavan bzw. das Government House, das sich auf dem Kamm der westlichen Hänge von Doddabetta am Stadtrand von Ootacamund befindet, strahlt noch heute eine einzigartige Schönheit aus und erinnert die Besucher an die alten Glanzzeiten, die es unter dem britischen Königshaus erlebte. Das Raj Bhavan wurde im Jahre 1877 von Herzog von Buckingham erbaut, als dieser der Gouverneur von Madras war. Das cremefarbene Herrenhaus erstreckt sich über 87 Hektar Land mit Blick auf den königlichen botanischen Garten. Im Jahre 1900 ließ Sir Arthur Havelock einen atemberaubenden Ballsaal in das bereits prächtige Herrenhaus einbauen und 1904 wurde das gesamte Gebäude elektrifiziert. Umgeben von gepflegten Rasenflächen und wunderschönen Gärten ist Raj Bhavan heute noch immer die Sommerresidenz des Gouverneurs von Tamil Nadu und auch heute schmücken noch immer Porträts von britischen Gouverneuren und ihren Frauen, von Königin Victoria, George V., dem Herzog von Buckingham, die Wände des Gebäudes.