استخراج وتحليل بيانات العقارات (webScraping and Data Analysis)

مشروع متكامل يهدف إلى أتمتة عملية جمع البيانات من أكبر منصات العقارات في مصر (Dubizzle). يقوم النظام بتجاوز أنظمة الحماية المعقدة، واستخراج آلاف الإعلانات، ثم تنظيفها وتحويلها من نصوص غير منظمة إلى قاعدة بيانات مهيأة للتحليل الإحصائي لدعم اتخاذ قرارات الاستثمار العقاري.

التحديات التقنية والحلول:

تجاوز الحماية (Anti-Bot Bypass): تم استخدام تقنيات متقدمة في مكتبة Selenium لمحاكاة السلوك البشري وتجاوز حماية Cloudflare، مع إخفاء هوية البوت (Automation Detection) لضمان استمرارية السحب دون حظر.

معالجة البيانات الضخمة (Advanced Scraping): التعامل مع الصفحات الديناميكية التي تعتمد على JavaScript و Lazy Loading لضمان سحب كافة التفاصيل بدقة.

هندسة البيانات (Custom Parsing Logic): تطوير خوارزمية تنظيف مخصصة تعالج النصوص المقسمة بـ (Delimiters) باستخدام الـ Regex لفصل (السعر، العنوان، المنطقة) بدقة، وتحويل الأسعار إلى مقاييس قابلة للمقارنة (مليون جنيه).

المخرجات والتحليلات:

قاعدة بيانات منظمة: ملفات Excel/CSV تحتوي على بيانات نظيفة وجاهزة للاستخدام المباشر.

تحليل إحصائي مرئي: لوحات بيانية توضح توزيع الأسعار (Price Distribution) مع تحديد متوسط سعر السوق (Mean Price) باستخدام مكتبات Seaborn و Matplotlib.

دعم اللغة العربية: معالجة الرسوم البيانية لتدعم النصوص العربية بشكل صحيح واحترافي.

الأدوات والتقنيات المستخدمة:

Language: Python

Scraping: Selenium WebDriver, WebDriver Manager.

Data Processing: Pandas, NumPy, Regular Expressions (re).

Visualization: Matplotlib, Seaborn, Arabic Reshaper.

هذا المشروع ليس مجرد أداة لسحب البيانات، بل هو نظام استخبارات تسويقي يساعد الوسطاء العقاريين والمستثمرين على فهم فجوات الأسعار في السوق، ومعرفة المناطق الأكثر عرضاً، وتحديد السعر العادل للوحدات بناءً على بيانات حقيقية ولحظية.