इस मंदिर की विशेषता यही है कि यह श्मशान घाट पर स्थित है. पूजा पाठ से लेकर अन्य कार्यों की देखरेख तब गुरू जी के जिम्मे थी. उनकी समाधि मंदिर के अंदर ही काली मां की मूर्ति के पास स्थित है.
गांधी मैदान के पास स्थित ऐतिहासिक गोलघर होते हुए जब आप राजापुल की तरफ बढ़ते हैं तो बीच में बांस घाट पड़ता है. इसी बांस घाट शमशान के ठीक सामने मां सिद्धेश्वरी काली मंदिर स्थित है. मां सिद्धेश्वरी काली मंदिर की शक्ति अपार है. मानना हैं कि यहां मांगी हुई हर एक मुराद पूरी हो जाती है. जहां मंदिर के ठीक सामने चिता का सामान बिकता नजर आता है, तो वहीं मंदिर का अहाता फूल और चुनरी की दुकान से सजा दिखता है.