تطوير أداة لاستخراج البيانات من موقع Kijiji باستخدام بايثون

في هذا المشروع، قمت بتطوير كود برمجي باستخدام لغة Python وأداة Selenium لجمع البيانات من موقع Kijiji. الهدف هو استخراج معلومات مثل أسماء البائعين، عناوين العروض، الأسعار، أرقام الهواتف، الأوصاف، وروابط العروض، وحفظها في ملف CSV.

مراحل تنفيذ المشروع:

إعداد البيئة البرمجية:

تم إعداد متصفح Chrome في وضع بدون واجهة (headless) وتحديد عامل المستخدم (User-Agent) المطلوب.

قمت بتهيئة عملية تسجيل الدخول لتتبع تقدم السكربت وتسجيل أي أخطاء قد تحدث.

التفاعل مع صفحة البحث:

تم فتح موقع Kijiji وإجراء عملية البحث بناءً على مدخلات المستخدم.

تم التفاعل مع شريط البحث والقائمة المنسدلة للفئات لتحديد البحث.

استخراج البيانات:

قمت بزيارة كل صفحة عرض لاستخراج رقم الهاتف، العنوان، السعر، اسم البائع والوصف.

استخدمت طرق متعددة للوصول إلى العناصر المطلوبة واستخراج النصوص وهذا هوا الجانب الاصعب الذي واجهته في المشروع لان الموقع كان ديناميكيا ويغير بعض خواص العناصر المراده.

التنقل بين الصفحات:

تعامل السكربت مع عملية التصفح بين صفحات البحث المتعددة، وفتح علامات تبويب جديدة لجمع البيانات من صفحات العروض الفردية.

تخزين البيانات:

تم تنظيم البيانات المجمعة في قوائم، ومن ثم حفظها في ملف CSV في المسار المحدد.

النتيجة النهائية:

تم حفظ البيانات المستخرجة في ملف CSV، مما يتيح للمستخدم عرض البيانات بسهولة وتحليلها لاحقًا.