কথিত রয়েছে অতীতে নররক্তে সন্তুষ্ট হতেন দেবী। দেবীর আদেশেই বন্ধ হয় সেই প্রথা। একবার এক ব্রাহ্মণের একমাত্র সন্তানের পালা পড়ে নরবলির। সন্তানের প্রাণহানির ভয়ে রাতের অন্ধকারে সপরিবারে গ্রাম ছেড়ে পালিয়ে যেতে যায় সেই ব্রাহ্মণ। ক্ষীরগ্রামের সীমানা পার হওয়ার আগেই এক বৃদ্ধার মুখোমুখি হতেই সেই বৃদ্ধা ব্রাহ্মণকে গ্রাম ত্যাগ করার কারণ জানতে চান। ব্রাহ্মণের মুখ থেকে দেবী যোগাদ্যার নরবলির কথা শুনে সেই বৃদ্ধা ব্রাহ্মণকে নিজের পরিচয় দিয়ে বলেন, "যার ভয়ে পালাও তুমি সেই মা যোগাদ্যা আমি"। এরপর ব্রাহ্মণকে অভয় দিয়ে দেবী সেইদিন থেকে নরবলি না নেওয়ার কথা বলেন। কিন্তু তাতেও পুত্রের প্রাণহানিতে চিন্তিত ব্রাহ্মণ আশ্বত না হলে দেবী অশ্বিনের অম্বিকা রূপ দেখান এবং তারপর আশ্বস্ত হয়ে সপরিবারে বাড়ি ফিরে যায় ব্রাহ্মণ। সেই থেকে নরবলির জায়গায় মোষ বলি চলে আসছে ক্ষীরগ্রামে।

এক শাঁখারীর মাতৃ দর্শনের কথাও প্রচলিত আছে এই সতীপিঠে। একসময় এক শাঁখারী শাঁখা নিয়ে আসছিলেন ক্ষীরগ্রামের দিকে। ক্ষীরগ্রাম থেকে অনতিদূরে ধামাচিয়া দীঘির পাড়ে এক যুবতী শাঁখারী কাছে শাখা পড়তে চেয়ে আবদার করে এবং শাঁখা পড়ানোর পর যখন শাঁখারী তার শাঁখার দাম চায় তখন সেই যুবতী নিজেকে যোগাদ্যা মন্দিরের পুরোহিতের কন্যা বলে পরিচয় দেয় এবং বলে যে মন্দিরের গম্ভীরের (গর্ভগৃহ) কুলুঙ্গিতে পাঁচ টাকা রাখা আছে। সেই শাঁখারী পুরোহিতের কাছে এসে সেই কথা বলতেই পুরোহিত আশ্চর্য্য হয়ে বলেন যে তার সাতকুলে কোনও কন্যা নেই তখন মন্দিরে গম্ভীরের কুলুঙ্গিতে গিয়ে গিয়ে পাঁচ টাকা দেখতে পেয়ে মায়ের লীলা বুঝতে পেরে শাঁখারীকে সাথে নিয়ে ধামাচিয়া দীঘির পাড়ে গিয়ে সেখানে কোনও যুবতীর দেখা না পেয়ে হতাশায় আত্মহত্যা করার কথা বললে সেই দীঘি থেকেই শাঁখা পড়া দুটি হাত তুলে দেখান জগদম্বা। সেই থেকে সেই শাঁখারী প্রত্যেক বছর মহাপুজোর দিন মাকে শাঁখা পড়ানোর প্রতিজ্ঞা করেন যে প্রতিজ্ঞা পালন করে আজও সেই শাঁখারীর বংশধরেরা বৈশাখ সংক্রান্তিতে মহাপুজোর দিন মাকে শাঁখা পরিয়ে যান।

ক্ষীরগ্রামের সঙ্গেই জড়িয়ে আছে রামায়ণের কথা। রাবণ পুত্র মহীরাবনকে বধ করার পর মহিরাবণের আরাধ্যা দেবী ভদ্রকালী তাকে পৃথিবীর মধ্যস্থলে নিয়ে যাওয়ার আদেশ দেন সেই মতো এক কাঁধে রাম লক্ষণ এবং অপর কাঁধে মা ভদ্রকালীকে চাপিয়ে পাতাল থেকে এই ক্ষীরগ্রামেই নিয়ে আসেন স্বয়ং পবনপুত্র হনুমান। এছাড়াও ক্ষীরগ্রামের মাটিতে কান পাতলেই শোনা যায় না যোগাদ্যার মাহাত্ম্যের কথা। বৈশাখ সংক্রান্তিতে মায়ের মহাপুজো অনুষ্ঠিত হয় মহা ধুমধামের সাথে। বছরের মাত্র কয়েকবার মায়ের প্রস্তর মূর্তি জল থেকে তুলে এনে পুজো করা হয় তার মধ্যে মাত্র দুবার জনসমক্ষে নিয়ে আসা হয় মাতৃমূর্তি। ক্ষীরগ্রামের নিয়মানুযায়ী কালী পুজোতেও মায়ের মন্দিরে ঘট এনে কালী পুজো হয় এবং মা যোগাদ্যার মন্দিরে কালী পুজো শুরু হওয়ার পরে তবেই গোটা গ্রামে কালী পুজো শুরু হয়।