আন্দুল রাজবাড়ির পত্তনের শুরুটা হয়েছিল জমিদার গৌরীচরণ মল্লিক-এর জামাই ভুবনেশ্বর রায়ের হাত ধরে। আন্দুলের বিখ্যাত মল্লিক পরিবারের জমিদার ছিলেন গৌরীচরণ মল্লিক। প্রজাবৎসল, সৎ, বুদ্ধিমান মানুষ। তবে বিস্তৃত জমিদারি সামলাতে হিমশিম খাচ্ছিলেন এই জমিদার। তাই বর্ধমান থেকে নিজের জামাইকে নিয়ে আসেন আন্দুলে। তখনো আন্দুলের এই পরিবার জমিদার পরিবার হিসেবেই পরিচিত ছিলেন।
ভুবনেশ্বর রায়কে আন্দুল রাজবংশের প্রথম পুরুষ হিসেবে ধরা হয়। তাঁর পরিবারের রাজত্বের সময়কাল অষ্টাদশ থেকে ঊনবিংশ শতাব্দীর মধ্যে। ভুবনেশ্বর রায়ের পুত্র রামচরণ রায় বুদ্ধিমান, উদ্যমী ছিলেন। বিভিন্ন ভাষায় তাঁর প্রখর জ্ঞান ছিল। তিনি হুগলির একজন বিচক্ষণ উকিল ছিলেন। প্রথম জীবনে ইস্ট ইন্ডিয়া কোম্পানির উকিল পদে চাকরি করলেও পলাশীর যুদ্ধের আগে কোম্পানির দেওয়ান পদে নিযুক্ত হন। শোনা যায় পলাশীর যুদ্ধের পর সিরাজদৌল্লার বিপুল ধনসম্পত্তি থেকে খানিকটা ধনরত্ন তিনি লাভ করেছিলেন ইংরেজদের বদান্যতায়।
এরপর ভারতের গভর্নর হয়ে আসেন রবার্ট ক্লাইভ। ইংরেজদের প্রিয় পাত্র ছিলেন এই রামচরণ রায়। তাঁকে আন্দুলের বেশ কয়েকটা তালুক প্রদান করেছিলেন রবার্ট ক্লাইভ।
১৭৬৫ সালে ভারত সম্রাট শাহ আলম তাঁর কিছু কর্মচারীকে রাজা উপাধি প্রদান করেন। রবার্ট ক্লাইভ শাহ আলমকে রামচরণ রায়ের নাম প্রস্তাব করেন। কিন্তু বৃদ্ধ রামচরণ নিজেই সেই উপাধি গ্রহণ না করে তাঁর পুত্র রামলোচন রায়কে রাজা উপাধি প্রদান করার জন্য অনুরোধ করেন। ১৭৬৬ সালের ২রা জানুয়ারি রামলোচন রায়কে রাজা উপাধিতে ভূষিত করা হয়। এই রাজ পরিবারের অন্যতম সঙ্গী ছিল বৈভব। সম্রাটের নিকট আত্মীয় হয়ে উঠেছিল আন্দুল রাজবাড়ির রাজারা। সম্রাট শাহ আলম নিজে এই পরিবারকে একটি কামান দান করেছিলেন। আন্দুল রাজবাড়ির অন্নপূর্ণা মন্দিরের প্রাঙ্গণে এই কামান এখনও শোভা পায়।
১৭৬৬ সালে রাজা রামালোচন রায় সরস্বতী নদীর তীরে একটি রাজবাড়ি নির্মাণ করেন। এটি এখনো পুরাতন রাজবাড়ি হিসেবে পরিচিত। আন্দুল রাজপরিবার এতটাই প্রভাবশালী ছিল যে তাঁরা ১৭৬৬ সালে সময় পরিমাপের বিশেষ একক ‘আন্দুলাব্দ’ প্রচলন করেছিলেন। বিপুল সম্পত্তির মালিক হয়েছিলেন রামলোচন রায়।
রামলোচন রায়ের মৃত্যুর পর তাঁর পুত্র কাশীনাথ রায় সিংহাসনে আরোহন করেন। তবে আন্দুল রাজপরিবারের বৈভব, প্রভাব-প্রতিপত্তি চরম শিখরে পৌঁছেছিল কাশীনাথ রায়ের পুত্র রাজা রাজনারায়ণ রায়ের সময়কালে। বিভিন্ন ভাষায় পারদর্শী ছিলেন তিনি। নানা জনহিতকর কাজকর্ম করতেন। তিনি নিজে একজন কবি ছিলেন। 'আন্দুল রাজ প্রশস্তি' নামে একটি কাব্য রচনা করেছিলেন।
নিজে নকশা করে রাজপ্রাসাদ ‘আনন্দধাম’ তৈরি করিয়েছিলেন। এই আনন্দধামের স্থাপত্য শৈলী আন্দুল রাজ পরিবারের অন্যতম বৈশিষ্ট্য। মূলত গ্রীসের স্থাপত্যরীতি অনুসরণ করে তিনি এই রাজপ্রাসাদ নির্মাণ করিয়েছিলেন। আন্দুল রাজবাড়ির বিখ্যাত অন্নপূর্ণা মন্দিরও তাঁর তৈরি। এছাড়াও তিনি অষ্টধাতুর অন্নপূর্ণা মূর্তি এবং দ্বাদশ শিবমন্দির প্রতিষ্ঠা করিয়েছিলেন। একই সঙ্গে প্রাসাদের পূর্বাংশে দুর্গা মন্দির তৈরি করিয়েছিলেন। তাঁর হাত ধরেই আন্দুল রাজবাড়িতে দুর্গাপুজা শুরু হয়েছিল। রাজনারায়ণ রায় প্রজাদের ভালবাসতেন। পুজোর সময় সব প্রজাদের নিমন্ত্রণ করে ভোগ খাওয়াতেন।
১৮৩৬ সালের ১০ই ডিসেম্বর পুত্র বিজয়কেশবের অন্নপ্রাশনে বিরাট দান যজ্ঞ আয়োজন করেছিলেন রাজনারায়ণ রায়। লর্ড বেন্টিংক এই অনুষ্ঠানে উপস্থিত ছিলেন।
১৮৪৯ সালে তাঁর পুত্র বিজয়কেশব রায় মাত্র ১৩ বছর বয়সে সিংহাসনে আরোহণ করেন। কিন্তু রাজপাত চালানোর পাশাপাশি তন্ত্র সাধনা করতেন তিনি। ‘আন্দুল কালি’ কীর্তন প্রচলন করেছিলেন। কিন্তু বিজয়কেশব রায়ের মৃত্যুর পর তাঁর ভাগ্নে ক্ষেত্রকিশোর মিত্রকে রাজবাড়ির উত্তরাধিকারী হিসেবে ঘোষণা করা হয়। এই মিত্র বংশের উত্তরপুরুষরাই বর্তমানে রাজবাড়িতে বসবাস করেন। হাওড়ার বিশিষ্ট রাজবাড়িগুলির মধ্যে আন্দুল রাজবাড়ি অন্যতম। আজও হাওড়ার অন্যতম দ্রষ্টব্য স্থান হিসেবে একে বিবেচনা করা হয়।