استخراج و تنظيم المعلومات

يهدف هذا المشروع إلى جمع بيانات من مواقع إلكترونية مختلفة باستخدام تقنيات Web Scraping، ثم تنظيفها وتنظيمها في قاعدة بيانات مهيكلة لتسهيل التحليل واستخدامها في التطبيقات التحليلية أو مستودعات البيانات.

خطوات العمل:

جمع البيانات (Scraping):

تم استخدام لغة Python مع مكتبات مثل BeautifulSoup وRequests لاستخراج بيانات من مواقع إلكترونية تحتوي على معلومات مثل:

أسماء المنتجات أو الخدمات

الأسعار

المواقع الجغرافية

تقييمات المستخدمين

تنظيف وتحويل البيانات (Cleaning & Transformation):

إزالة القيم المكررة والخاطئة

توحيد تنسيق الأعمدة (مثل تحويل الأسعار إلى أرقام)

معالجة البيانات النصية واستخراج الكلمات المفتاحية المهمة

تخزين البيانات (Storage):

بعد المعالجة، تم تخزين البيانات في قاعدة بيانات علائقية (مثل MySQL أو PostgreSQL) ضمن جداول منظمة:

جدول المنتجات أو الخدمات

جدول الأسعار

جدول المواقع أو الفروع

جدول التقييمات

النتائج (Results):

أصبح بالإمكان إجراء استعلامات وتحليلات مثل:

مقارنة الأسعار بين المواقع

تحليل متوسط التقييمات

استخراج المناطق الأكثر نشاطًا