La antigua ciudad de Pawaya encuentra mención en textos y trabajos antiguos de literatura sánscrita. Es conocido por ruinas que datan de los siglos I y VIII que han sido desenterradas en la región. Se dice que una vez la gran ciudad fue cubierta de grandes mansiones, bellos templos con shikharas (agujas) y puertas altas. Ubicados entre los ríos Para y el Sindhu, la ciudad florece como un sitio importante. También encuentra mención en la inscripción Kokkala Grahapati de Khajuraho (1001 d.C.). La fundación de la ciudad de Pawaya fue realizada entre las yugas Krita y Treta, de acuerdo a las inscripciones de Khajuraho. Es atribuido a un rey de la dinastía Padma, pero también, podría ser mítico.Después de que el cercano Narwar fuera conquistado por Sikandar Lodhi, el sultán de Delhi, en 1506, Pawaya se convirtió en un distrito sede con Safdar Khan como su primer gobernador. Se dice que él construyó el presente fuerte en 1512 d.C. y lo llamó Askandrabad como se encontró en las inscripciones persas. El gobierno se extendió por un largo período como se puede determinar en un gran número de mosques y maqbaras en la región.