مشروع: خط بيانات متكامل لمنصة تجارة إلكترونية (Olist)

مشروع: خط بيانات متكامل لمنصة تجارة إلكترونية (Olist)

هذا المشروع يمثل حلاً شاملاً لهندسة البيانات وبناء مستودع بيانات (Data Warehouse) لمنصة Olist البرازيلية للتجارة الإلكترونية. تم تطويره كجزء من مشروع التخرج بمعهد تكنولوجيا المعلومات (ITI)، ويهدف إلى تحويل البيانات الخام سواء من المعاملات التاريخية أو تدفقات السجلات اللحظية إلى رؤى تحليلية تدعم القرارات الاستراتيجية.

أهداف المشروع

تحليل بيانات المبيعات التاريخية لفهم اتجاهات الأداء وسلوك العملاء.

تقييم أداء الشحن والتسليم وتقليل التأخير اللوجستي.

دراسة التوزيع الجغرافي للمبيعات لتوجيه استراتيجيات التسويق والتوسع.

محاكاة بيانات آنية (Real-Time) لسلوك المستخدمين مثل التصفح والشراء، ومعالجتها فورياً لتمكين المتابعة اللحظية للأداء.

مصادر البيانات

بيانات دفعية (Batch) من مجموعة بيانات Olist على Kaggle (ملفات CSV).

بيانات آنية (Streaming) يتم توليدها باستخدام Python Faker وإرسالها عبر Apache Kafka.

الأدوات والتقنيات المستخدمة

Apache Kafka: استقبال بيانات لحظية (Streaming).

Apache Spark: معالجة بيانات دفعية (ETL) ومعالجة آنية (Structured Streaming).

HDFS + Parquet: تخزين البيانات الموزعة.

PostgreSQL: مستودع بيانات (Data Warehouse) وتحليل بعدي (OLAP).

Apache Airflow: جدولة وأتمتة مهام الـ ETL.

Power BI: إنشاء لوحات تفاعلية لتصور البيانات واستخلاص المؤشرات.

Streamlit: متابعة مؤشرات النظام وصحة الخدمات.

Docker & Docker Compose: تشغيل بيئة متكاملة قابلة للنقل.

نتائج المشروع

بناء خط بيانات متكامل يجمع بين البيانات الدَفعية والبيانات اللحظية.

إعداد مستودع بيانات متكامل (DWH) يدعم التحليل العميق واتخاذ القرار.

تصميم لوحات BI تفاعلية لعرض مؤشرات الأداء: المبيعات، سلوك العملاء، أداء الموردين، وكفاءة الشحن.

توفير نظام مرن قابل للتوسع ومهيأ للاستخدام في بيئات الإنتاج.