नाम से ही परिलक्षित होता है कि यह मंदिर भगवान काल भैरव को समर्पित है, जो भगवान शिव का उग्र रूप हैं। इस मंदिर की प्रमुख प्रतिमा के रूप में एक व्यक्ति चेहरे के स्थान पर खोपड़ी लगाए फूलों की मालाएं पहने हुए विद्यमान है। ऐसी लोकप्रिय मान्यता है कि काल भैरव ही तय करते हैं कि वाराणसी में कौन रहेगा। संभवतः इसलिए जो लोग पहली बार इस शहर में आते हैं, वे सबसे पहले इस मंदिर में जाते हैं तथा जो लोग शहर से जाने लगते हैं, वे यहां पर रुककर भगवान की अनुमति मांगते हैं। इस मंदिर का प्रवेश मार्ग बहुत संकरा है। कोई भी यहां से इष्टदेव की प्रतिमा देख सकता है। श्रद्धालुगण भगवान की प्रतिमा पर का तिल का तेल एवं पुष्प अर्पित करते हैं। मंदिर के भीतरी भाग में एक प्रवेशद्वार पीछे से भी है, जहां से केवल पुजारी ही आते-जाते हैं। मंदिर परिसर के बाहर अनेक दुकानें स्थित हैं, जहां से श्रद्धालुगण भगवान को चढ़ाए जाने वाली सामग्री ख़रीद सकते हैं।