ইসলামের ইতিহাসে জমজম কুয়ার উৎপত্তি নিয়ে বর্ণনা রয়েছে। নবী ইবরাহিম (আ) তার দ্বিতীয় স্ত্রী হাজেরা (আ) ও শিশুপুত্র ইসমাইল (আ) কে আল্লাহর আদেশে মক্কার বিরান মরুভূমিতে রেখে আসেন। তার রেখে যাওয়া খাদ্য পানীয় শেষ হয়ে গেলে হাজেরা (আ) পানির সন্ধানে পার্শ্ববর্তী সাফা ও মারওয়া পাহাড়দ্বয়ের মাঝে সাতবার ছোটাছুটি করেছিলেন। এসময় ক্রন্দনরত শিশুপুত্র ইসমাইল (আ) এর পায়ের আঘাতে মাটি ফেটে পানির ধারা বেরিয়ে আসে। ফিরে এসে এই দৃশ্য দেখে হাজেরা (আ) পাথর দিয়ে পানির ধারা আবদ্ধ করলে তা কুয়ায় রূপ নেয়। এসময় হাজেরা (আ) পানিকে জমজম তথা থামো বলায় এর নাম জমজম হয়েছে।
পরবর্তীতে নবী ইবরাহিম (আ) এর পাশে কাবা পুনঃনির্মাণ করেন। পূর্বে আদম (আ) এর সময় এটি নির্মিত হলেও পরবর্তীকালে ধ্বংস হয়ে যায়। মুসলিমরা নামাজ পড়ার সময় কাবার দিকে মুখ করে দাঁড়ায়। জমজম কুয়া কাবা থেকে প্রায় ২০ মি (৬৬ ফুট) দূরে।
জমজম কুয়া বেশ কয়েকবার সংস্কার করা হয়। প্রথমে এটি পাথর দিয়ে ঘেরা অবস্থায় ছিল। পরবর্তীতে খলিফা আল মনসুরের সময় ৭৭১(১৫৪/১৫৫ AH)[১] সালে এর উপর গম্বুজ এবং মার্বেল টাইলস বসানো হয়। পরবর্তীতে খলিফা আল মাহদি এটি আরো সংস্কার করেন। বর্তমানে কুয়া কাবা চত্বরে দেখা যায় না। এটি ভূগর্ভস্থ অবস্থায় রাখা হয়েছে এবং এখানে থেকে পানি পাম্পের সাহায্যে উত্তোলন করা হয়। মসজিদুল হারামের বিভিন্ন স্থানে তা সরবরাহ করা হয়।
