مشروع Web Scraping لمنصة مقاول واستخراج البيانات بدقة عالية

قمت بتطوير أداة برمجية متكاملة (Web Scraper) باستخدام لغة Python لأتمتة عملية جمع بيانات الشركات والمقاولين من منصة "مقاول" السعودية. المشروع لم يقتصر فقط على سحب البيانات، بل شمل معالجتها وتنظيمها لتكون جاهزة للاستخدام المباشر في اتخاذ القرارات أو التسويق.

أبرز المهام التقنية التي قمت بها:

كشط البيانات (Web Scraping): استخدام مكتبة Selenium للتعامل مع الصفحات الديناميكية وتجاوز تحديات التصفح الآلي لسحب بيانات دقيقة (اسم الشركة، رقم العضوية، المنطقة، عدد الساعات التدريبية، وغيرها).

تنظيف البيانات (Data Cleaning): معالجة البيانات المستخرجة باستخدام مكتبة Pandas لضمان خلوها من التكرار أو الأخطاء وتنسيق النصوص البرمجية.

الأتمتة (Automation): تصميم الكود ليعمل بشكل آلي تماماً، مما يوفر مئات الساعات من الإدخال اليدوي.

تصدير البيانات (Data Export): برمجة خاصية تحويل البيانات المستخرجة إلى ملف Excel احترافي، مع تنسيق الأعمدة والجداول تلقائياً لسهولة القراءة والبحث.

الأدوات والمكتبات المستخدمة:

Python: اللغة الأساسية لبناء السكربت.

Selenium: للتعامل مع المتصفح وجمع البيانات.

Pandas: لتحليل وتنسيق البيانات.

Excel (XlsxWriter/Openpyxl): لإخراج النتائج النهائية بشكل منظم واحترافي.

النتائج المحققة:

استخراج بيانات آلاف الشركات بدقة 100% وفي وقت قياسي، مع تقديم ملف Excel يحتوي على كافة التفاصيل الهامة (اسم المنشأة، نوع العضوية، الحالة، وبيانات التواصل) مرتبة ومنسقة