সাবর্ণ চৌধুরীদের পূর্বপুরুষ ছিলেন জমিদার লক্ষ্মীকান্ত মজুমদার। এখন আমরা যে অঞ্চলটিকে বি.বি.ডি বাগ বা ডালহৌসি স্কয়্যার বলি, কলকাতায় জোব চার্ণক আসার আগে সেখানেই তাঁর কাছারি বাড়ি ছিল। তার পাশে ছিল তাঁদের প্রাচীন গৃহদেবতা শ্যামরায়ের মন্দির। প্রতিবছর এখানে খুব ঘটা করে শ্যামরায়ের দোল উৎসব হত। মন্দিরের পাশে ছিল ছোট্ট একটি দিঘি। উৎসবের সময় লাল আবির ও কুঙ্কুমের রঙে দিঘির জল লালে লাল হয়ে যেত। এমনকি সামনে যে বাজারটি ছিল, তার রাস্তাঘাটও লাল আবিরে রাঙা হয়ে উঠত। এখান থেকেই ‘লাল দিঘি’ ও ‘লাল বাজার’ নামের উৎপত্তি। পরে জোব চার্ণক এই কাছারি বাড়ি ভাড়া নিলে শ্যামরায়কে নিয়ে যাওয়া হয় কালীঘাটের মন্দিরে, আজও তিনি সেখানে পূজিত হন। তবে সেই সময় সারাবছর কালীঘাটে থাকলেও দোলের সময় শ্যামরায়কে লাল দিঘির মন্দিরে আনা হত ও উৎসব হত।
১৭০৯ সালে ইংরেজদের হাতে দিঘির সংস্কার হল, চারপাশে বাহারি গাছ লাগিয়ে বাগান তৈরি হল এবং এর চৌহদ্দির মধ্যে ভারতীয়দের ঢোকা মানা হয়ে গেল। দিঘিটি হয়ে উঠল সেই সময়ের ইংরেজদের পানীয় জলের ভাণ্ডার আর বাগান হয়ে উঠল তাদের আমোদের জায়গা। সেই থেকে এখানে শ্যামরায়ের দোল খেলতে আসাও বন্ধ হয়ে গেল। তবে, শ্যামরায়ের সেই দোল উৎসবের স্মৃতি বুকে নিয়ে কলকাতার পাঁচশো বছরের ইতিহাসের সাক্ষী হয়ে আজও রয়ে গেছে ‘লাল দিঘি’।