Web Scraping وتحليل البيانات

في هذا المشروع قمت بتطوير وتنفيذ نظام Web Scraping احترافي لاستخلاص البيانات تلقائيًا من مواقع التجارة الإلكترونية (مثل: FunPay وU7Buy)، باستخدام أدوات برمجية متقدمة مبنية على Python وواجهات رسومية (GUI) تفاعلية.

يتيح هذا النظام:

جمع البيانات تلقائيًا من الروابط التي يضعها المستخدم (مثل: صفحات المنتجات أو العروض).

استخلاص البيانات التفصيلية مثل: السعر، المنصة، الوصف المختصر والكامل، اسم البائع، التقييمات، عدد المبيعات، وعدد المنتجات المتاحة.

تصفية النتائج ديناميكيًا بناءً على تقييم البائع وعدد المراجعات (كما يظهر في الصورة: تم تصفية النتائج إلى عروض ذات تقييم ≥ 4 ومراجعات ≥ 10).

التعامل مع المواقع التي تحتوي على Pagination، أي التنقل بين الصفحات آليًا لجمع كل البيانات دون تدخل يدوي.

حفظ النتائج مباشرة إلى ملف Excel منسق وجاهز للتحليل، مع تصفية وربط العروض المفلترة (Filtered Offer Links).

تصميم واجهة مستخدم GUI تفاعلية باستخدام أدوات مثل Tkinter أو PyQt لتبسيط تجربة الاستخدام، مع زر "Start Extraction" واضح وحالة تنفيذ حية (Status Log).

كما أن الكود البرمجي تم تصميمه باحترافية عالية ليشمل:

استدعاء واجهات API للمواقع المستهدفة بطريقة مرنة.

التحكم في السعر الأدنى والأعلى لتصفية العروض.

إدارة الأخطاء في حال فشل الاتصال أو تجاوز الحدود.