Tallado en una roca pura, el templo Chaturbhuj, también conocido como el templo del Lord de las cuatro armadas, se encuentra en la proximidad este del Fuerte Gwalior. Dedicado a Lord Vishnu, se dice que el templo fue construido en 876 a.C. Es más famoso por ser el más antiguo del mundo con cero inscrito en piedra. Dentro del templo, hay un ídolo de Lord Vishnu y la inscripción con el cero. Hay dos figuras de cero inscrito y el custodio del templo o un guía de tour pueden señalarlas. Ya que la entrada este al fuerte es un difícil ascenso, y el camino no puede ser recorrido por auto, se puede también descender desde la parte superior para ver el templo.