تم تنفيذ مشروع استخراج بيانات المنتجات من أحد المواقع المتخصصة في بيع وشراء المنتجات المستعملة بناءً على طلب العميل.
** تضمنت متطلبات المشروع استخراج البيانات التالية:-
1-الرقم التعريفي للمنتج
2-اسم المنتج
3-السعر
4-صور المنتج
5-رابط المنتج
كما طلب العميل حفظ البيانات المستخرجة بصيغة CSV مع إمكانية إنشاء قاعدة بيانات يمكن ربطها بنظام مستقبلي.
**التقنيات المستخدمة:-
Python: اللغة الأساسية لتنفيذ المشروع، بفضل قوتها في معالجة البيانات وتكاملها مع المكتبات المختلفة.
Selenium with Undetected-chromedriver: لاستخراج البيانات من الموقع بشكل ديناميكي، خاصة في المواقع التي تعتمد على JavaScript و تخطي حماية Cloudflare.
httpx: لإجراء طلبات HTTP بكفاءة وسرعة عند الحاجة للحصول على بيانات مباشرة.
lxml: لتحليل محتوى HTML واستخراج العناصر المطلوبة بدقة.
json: للتعامل مع البيانات بصيغة JSON في حال وجود واجهات برمجية (APIs).
sqlite: لإنشاء قاعدة بيانات محلية لتخزين البيانات بطريقة منظمة وسهلة الربط بالنظم المستقبلية.
pandas: لمعالجة البيانات وتنسيقها وحفظها في صيغة CSV بجودة عالية.
**آلية العمل:-
تم تحليل الموقع المستهدف لتحديد هيكلية البيانات والعناصر المطلوبة.
تم استخدام Selenium لمحاكاة التصفح واستخراج البيانات من الصفحات الديناميكية.
عُززت العملية باستخدام مكتبة httpx للحصول على البيانات بسرعة عند توفر APIs.
تمت معالجة البيانات وتنظيمها باستخدام pandas، ومن ثم حفظها في ملف CSV يلبي متطلبات العميل.
تم إنشاء قاعدة بيانات باستخدام sqlite لتوفير مرونة أكبر لربط البيانات بالنظام المستقبلي.
**النتيجة:-
تم تسليم ملف CSV يحتوي على كافة البيانات المطلوبة، بالإضافة إلى قاعدة بيانات منظمة وجاهزة للاستخدام في الأنظمة المستقبلية.
| اسم المستقل | Bassel F. |
| عدد الإعجابات | 0 |
| عدد المشاهدات | 7 |
| تاريخ الإضافة | |
| تاريخ الإنجاز |
