সুপ্রাচীন কাল থেকেই পানিহাটি ঈশ্বরবিশ্বাসী মানুষদের কাছে পুণ্যতীর্থভূমি। গৌড়রাজ বল্লাল সেনের সময়ে এই অঞ্চল ছিল বৌদ্ধ তান্ত্রিক উপাসনার একটি কেন্দ্র। তারপর শৈব সাধক, তান্ত্রিক, নাথপন্থী ভক্তদের সাধনার জন্যও প্রসিদ্ধ ছিল আজকের এই পানিহাটি।
গঙ্গাতীরবর্তী এই শহরের ইতিহাস হাজার বছরেরও বেশি পুরোনো। বিপ্রদাস পিপলাইয়ের 'মনসামঙ্গল', জয়ানন্দের 'চৈতন্যমঙ্গল', বৃন্দাবন দাসের 'চৈতন্য ভাগবত', কৃষ্ণদাস কবিরাজের 'শ্রীচৈতন্য চরিতামৃত'-র মতো পুরনো সাহিত্যে পানিহাটির নাম পাওয়া যায়। তবে এই জায়গার নামের উৎপত্তি নিয়ে মতপার্থক্য রয়েছে বিস্তর।
কিংবদন্তি অনুযায়ী, পানিহাটির আদি নাম 'পণ্যহট্ট'। খুব প্রাচীন কাল থেকেই ব্যবসা বাণিজ্যের জমজমাট কেন্দ্র ছিল পানিহাটি। সে সময় বাণিজ্যের জন্যে বর্ধমানের কাটোয়া, দাঁইহাট, কালনা, হুগলির, চুঁচুড়া, ফরাসডাঙা, সপ্তগ্রাম, মেদিনীপুরের তাম্রলিপ্ত; ইত্যাদি জায়গা থেকে পণ্য বোঝাই নৌকো এসে ভিড়ত পানিহাটির ঘাটে। জনশ্রুতি রয়েছে, যশোরের বিখ্যাত পেনেটি ধানের সরবরাহ এখান থেকে করা হত বলে, এই জায়গার প্রথম নাম হয় পেনটি, 'পেনেটি' থেকেই 'পানিহাটি' নামটির আগমন। আরেকটি জনশ্রুতি হল, 'পণ্যহট্ট' নয়, পানিহাটির নাম এসেছে 'পুণ্যহট্ট' থেকে।
বহু ধর্মের প্রাচীন মিলনক্ষেত্রের দৃষ্টান্ত হিসেবেও পানিহাটির খ্যাতি রয়েছে। কাঠিয়া বাবার আশ্রম, ভোলানন্দ গৌড়ীয় মঠ, বালক ব্রহ্মচারী আশ্রম যেমন রয়েছে এখানে, পাশাপাশি রয়েছে মোল্লাহাট মসজিদ, ঘোলাবাজার মসজিদ, মানিক পির কিংবা খোনকা পিরের আস্তানা। গঙ্গার তীরের একাধিক ঘাট পানিহাটির আরেক আকর্ষণ। জহর সাধুখাঁর ছোট ঘাট, গৌরীমণি দাসের ঘাট, মালাপাড়া ঘাট, শ্রীগৌরাঙ্গ ঘাট, মদন বসুর ঘাট, তাঁতপটি ঘাট, প্যারি বোষ্টম ঘাট ইত্যাদি; নাম বলে শেষ করা যাবে না। এত বেশি ঘাটের আধিক্যের জন্য,'শনিবারের চিঠি' পত্রিকায় যতীন্দ্রমোহন দত্ত লিখেছিলেন, পানিহাটির মতো এতগুলো গঙ্গার ঘাট সম্ভবত বারাণসী ছাড়া আর কোথাও নেই। গত শতাব্দীর শেষ পর্যন্ত পানিহাটিতে প্রায় ৩৩টি ঘাট অক্ষত ছিল, সেই হিসেব করলে কাশির পরের স্থানটির দাবিদার একমাত্র পানিহাটিই।
এখানকার বিখ্যাত কালী মন্দির হল ত্রাণনাথ বাবুর কালী মন্দির। ত্রয়োদশ শতকের গোড়ার কথা বেড়াচাঁপার রাজা চন্দ্রকেতু পানিহাটি অঞ্চলে গড় বা দুর্গ তৈরি করে দুর্গের মধ্যে মন্দির প্রতিষ্ঠা করেন। ওই মন্দিরে মা ভবানী বা মা কালীর মূর্তি প্রতিষ্ঠা তৈরি করে পুজো করতেন। এই দুর্গের নাম হয় গড় ভবানী। পরবর্তী কালে মুসলমান আক্রমণে তাদের পরিবারের সকলের মৃত্যূ হয় এবং মন্দিরের মূর্তি চুরি হয়ে যায়।
দীর্ঘদিন ওই মূর্তি বাগবাজারে জনৈক গাঙ্গুলী পরিবারের কাছে রক্ষিত ছিল। মাতৃ মূর্তির খোঁজ পান পানিহাটির অত্যন্ত ধনী ও প্রভাবশালী ব্যক্তি ত্রাণণাথ বন্দ্যোপাধ্যায়। পানিহাটিতে গঙ্গার ধারে নতুন করে মন্দির নির্মান করে মায়ের মূর্তি প্রতিষ্ঠা করে নিয়মিত পুজোর বন্দোবস্ত করেন। বেড়াচাঁপার রাজা চন্দ্রকেতুর নির্মিত গড় ভবানীর আর কোন চিহ্নই আজ বর্তমান নেই। ইতিহাস বলে, বল্লাল সেনের আমলে পানিহাটি অঞ্চল ছিল জনবহুল। রাজা হুসেন শাহ গৌড়ের অধিপতি হবার পরই পানিহাটিতে একজন কাজী নিযুক্ত করেছিলেন।
অন্য একটি কিংবদন্তি অনুযায়ী, রাজা চন্দ্রকেতু বেড়াচাঁপায় একটি গড় তৈরি করে সেখানে মন্দির স্থাপন করে মা ভবানী বা মা কালীর মূর্তি প্রতিষ্ঠা করে নিয়মিত পুজো করতেন। মুসলমান আক্রমণে তাদের পরিবারের সকলের মৃত্যূ হলে, মন্দিরের পুরোহিত সেই মূর্তি লুকিয়ে এই গঙ্গার ধারে পানিহাটিতে নিয়ে চলে আসেন। চারদিকে গাছপালা দিয়ে ঘেরা নির্জন গঙ্গার ধারের জায়গায় পঞ্চমুণ্ডীর আসন তৈরি করে পুরোহিত মায়ের পুজো শুরু করেন। পুরোহিতের কয়েকজন শিষ্য জুটে যায়। তারাই এই মন্দিরের দেখভালের দায়িত্ব নেয়।
শেষে তারাই এই পুজোর ভার পানিহাটির জনৈক নসীরাম মতান্তরে মসীরামের হাতে তুলে দেন। তিনি ছিলেন ত্রাণণাথের পিতা।
উনিশ শতকের শেষ দিকে পানিহাটির ধনী ও প্রভাবশালী ব্যক্তি ছিলেন ত্রাণণাথ বন্দ্যোপাধ্যায়, পাটের ব্যবসা করে প্রভূত ধন সম্পদের মালিক হয়েছিলেন। তিনি মায়ের বর্তমান মন্দির তৈরি করেন। সময়টা খুব সম্ভবত ১৮৮০ সালের কাছাকাছি হবে। তারপর থেকে মন্দিরেই মায়ের পুজো শুরু হয়।
মন্দিরটি দক্ষিণমুখী। পাশেই বয়ে চলেছে গঙ্গা। একতলা দালানের ওপর পঞ্চরত্ন শৈলীতে মন্দিরটি নির্মিত। প্রশস্ত বাঁধানো অঙ্গন থেকে চওড়া টানা সিঁড়ি ধাপে ধাপে উঠে গেছে মন্দিরে। খিলান দিয়ে প্রবেশ করলে প্রথমে অলিন্দ এবং পরে প্রশস্ত গর্ভগৃহে কাঠের সিংহাসনে মায়ের কষ্টিপাথরের মূর্তি বিরাজমান। মায়ের মন্দিরের বামদিকে একই ভিতের ওপর পরপর তিনটি আটচালা শিব মন্দির রয়েছে। দুটি শিবলিঙ্গ কষ্টিপাথরের হলেও আরেকটি শিবলিঙ্গের গৌরিপট্টটি স্বেত পাথরের, কিন্তু লিঙ্গটি কষ্টিপাথরের তৈরি। সচরাচর এইরকম শিবলিঙ্গ দেখা যায় না। মন্দিরে আরও দেব-দেবী রয়েছেন, তারাও পুজো পান। রয়েছেন ঠাকুর-মা-স্বামীজি। মায়ের সিংহাসনটি এককালে রূপোর ছিল। ১৯৭৫ সালে রূপোর সিংহাসনটি চুরি হয়ে গেলে নতুন করে কাঠের সিংহাসনে মায়ের মূর্তি প্রতিষ্ঠা করা হয়।
মন্দিরটি মা ভবানীর মন্দির বলে পরিচিতি থাকলেও ত্রাণণাথবাবুর কালীমন্দির নামে অধিক জনপ্রিয়। মন্দিরের অনতিদূরে রয়েছে ত্রাণনাথ বাবুর ঘাট। পানিহাটি ফেরীঘাট থেকে মিনিট পাঁচেকের দূরত্বে এই মন্দির অবস্থিত। ত্রাণনাথ বাবুর ঘাটের কথা উল্লেখ করলে সহজেই এখানে পৌঁছে যাওয়া যাবে। কার্তিক অমাবস্যা অর্থাৎ কালী পুজোয় এখানে মহাসমারোহে পুজো করা হয়।