كانت القرية تنهض على تل من الحجر الرملي قليل الارتفاع، في السهل الساحلي الأوسط، مشرفةً على شاطئ البحر الأبيض المتوسط. وقد عُرفت القرية أيضاً باسم سيّدنا علي، لأنها كانت مبنية حول مقام الحسن بن علي (توفي سنة 1081م)، سليل الخليفة الثاني عمر بن الخطاب. وذكر الرحالة الشامي البكري الصديقي المتصوف، الذي جال في المنطقة في أواسط القرن الثامن عشر، أنه أُنزل ضيفاً في مسجد الحرم في إحدى الليالي 
. وكان من التقاليد أن يأتي الناس من كل أنحاء فلسطين في الصيف، للصلاة والقيام ببعض المناسك وأخذ التذكارات. وكان سكان الحرم في معظمهم من المسلمين. وكانت منازل القرية مبنية بالحجارة أو بالطوب، ومتقاربة بعضها من بعض. وقد أُسست فيها مدرسة ابتدائية في سنة 1921، بلغ عدد التلامذة المسجلين فيها 68 تلميذاً في أواسط الأربعينات. وكانت الزراعة عماد اقتصاد القرية؛ ففي 1944/ 1945، كان 136 دونماً من أراضي القرية مخصصاً للحمضيات والموز، و2096 دونماً للحبوب، و256 دونماً مروياً أو مستخدَماً للبساتين. بالإضافة إلى الزراعة، اهتم سكان القرية بصيد السمك. وعلى بعد 800 متر إلى الشمال من القرية تقع خربة أرصوف التي أظهرت أعمال التنقيب فيها، في سنتي 1977 و1982، بقايا سوق يعود تاريخها إلى أوائل العصر الإسلامي. غير أن تاريخ الموقع يمتد من القرن الخامس قبل الميلاد إلى القرن السادس عشر بعد الميلاد، وعُرف في العصر الهلنستي باسم أبولونيا (Apollonia). وكان الصليبيون بنوا هناك قلعة دعوها أرسور (Arsur). وفي سجلات ضرائب القرن السادس عشر العثمانية، ورد اسم أرشوف . ويبدو أن قرية الحرم لم تبنَ إلاّ بعد أن هُجر موقع أرشوف في وقت ما من القرن السابع عشر.
