عندما بنى ابراهيم عليه السلام الكعبة المشرفة برفقة سيدنا اسماعيل عليه السلام جعل جانبا منها أقام عليه عريشا ليأوي سيدنا اسماعيل عليه السلام به غنمه ومن هنا جاء تسمية الحجر بحجر سيدنا اسماعيل عليه السلام.
وحجر سيدنا اسماعيل هو بناء نصف دائري أقامت عليه قريشا سياجا لترمز أن هذا المكان هو جزء من الكعبة المشرفة.
والكعبة المشرفة التي يقصدها المسلمون حول العالم لأداء مناسك الحج والعمرة تعتبر من أكثر الأماكن قداسة عند المسلمين.