Comme son nom l'indique, le temple de Kal Bhairav est dédié au Seigneur Kal Bhairav, la forme la plus féroce du Seigneur Shiva. L'idole principale du temple représente un homme portant une guirlande avec un crâne faisant office de visage. Une des croyances populaires raconte que Kal Bhairava décide de qui reste à Varanasi. C'est peut-être pourquoi ceux qui arrivent en ville visitent d'abord le temple et ceux qui la quittent s'y arrêtent pour demander la permission du dieu. L'entrée du temple est étroite et on peut y voir la divinité. Les fidèles aiment faire des offrandes d'huile de sésame et de fleurs à la divinité. Le sanctuaire intérieur a une entrée arrière, mais seuls les prêtres peuvent y accéder. Il y a de nombreux magasins qui bordent l'extérieur du complexe du temple, au cas où les visiteurs auraient besoin d'acheter des offrandes pour le dieu.