Data Scraping & ETL

? نبذة عن المشروع:

مشروع برمجي متكامل (ETL Pipeline) تم بناؤه باستخدام لغة بايثون، يهدف إلى أتمتة جمع بيانات أكثر من 500 منتج (إطارات وجنوط) من المتاجر الإلكترونية، ثم تنظيفها وهيكلتها وتصديرها في ملفات (CSV/Excel) جاهزة للتحليل الفوري للاستفادة منها تجارياً.

?️ التقنيات والأدوات:

Python (اللغة الأساسية).

Selenium & BeautifulSoup: لتصفح الموقع آلياً، التعامل مع الصفحات المتعددة، واستخراج البيانات بدقة.

Pandas: لتنظيف البيانات، معالجة النصوص، والتعامل مع القيم المفقودة.

? كيف يعمل المشروع (ETL)؟

الاستخراج (Extract): سحب التفاصيل الدقيقة للمنتجات (الموديل، الأبعاد، السعر، وحالة المخزون).

المعالجة (Transform): إزالة رموز العملات وتحويل الأسعار إلى أرقام (Float)، تنظيف نصوص HTML، التخلص من التكرارات، ومعالجة البيانات الفارغة.

التصدير (Load): حفظ البيانات النهائية في ملفات منظمة.

? القيمة التجارية للمشروع:

يستبدل هذا السكربت ساعات طويلة من الإدخال اليدوي، ليوفر قاعدة بيانات نظيفة ودقيقة يمكن ربطها مباشرة ببرنامج Excel أو أدوات تحليل الأعمال (BI Dashboards) لتحليل السوق، تتبع المنافسين، ومراقبة حركة الأسعار في قطاع السيارات.