Automated Business Data Collection & Database Pipeline

مشروع جمع بيانات الأنشطة التجارية من خرائط جوجل بشكل آلي

قمت بتطوير بوت باستخدام Python و Selenium لجمع بيانات الأنشطة التجارية من Google Maps بناء على كلمة البحث اللي يدخلها المستخدم، زي مطاعم الرياض أو عيادات جدة.

البوت بيعمل scroll تلقائي لحد ما يحمل كل النتائج، وبعدين يدخل على كل مكان ويستخرج:

• اسم النشاط

• التقييم وعدد المراجعات

• رقم الهاتف

• العنوان التفصيلي

• رابط الموقع الإلكتروني

• رابط الخريطة

واجهتني مشكلة إن رقم الهاتف مش دايما بيكون في نفس المكان، فعملت 3 طرق مختلفة للاستخراج عشان أضمن إن الرقم يتجمع حتى لو جوجل غير شكل الصفحة.

بعد الجمع، البيانات بتتنظف ويتشال المكرر وتترتب حسب التقييم، وبعدين بتتحفظ في ملف Excel منسق (هيدر ملون وفلتر) وكمان في SQL Server للي محتاج قاعدة بيانات.

المشروع اتجرب فعليا وسحب 27 مكان في الرياض وجدة والقاهرة، والنتيجة موجودة في ملف Excel في المعرض.

التقنيات المستخدمة: Python, Selenium, Pandas, OpenPyXL, SQL Server