AWS S3 Data Pipeline for Sales Data Processing and Analytics (Medallion Architecture)

تم بناء Pipeline لمعالجة وتحليل بيانات المبيعات باستخدام Python و AWS S3 وفق Medallion Architecture (Bronze, Silver, Gold).

يبدأ النظام برفع ملفات CSV الخام إلى Amazon S3، مع منع التكرار لضمان عدم إعادة معالجة نفس البيانات. ثم يتم تنظيف البيانات في مرحلة Silver عبر معالجة القيم المفقودة، إزالة التكرار، وتوحيد تنسيق البيانات.

في المرحلة النهائية (Gold)، يتم تحويل البيانات إلى مؤشرات أعمال جاهزة للتحليل مثل إجمالي الإيرادات حسب المنطقة والقطاع، متوسط قيمة الصفقات، وعدد الصفقات المغلقة.

يهدف هذا المشروع إلى تحويل البيانات الخام إلى معلومات قابلة للاستخدام في اتخاذ القرار وتقليل العمل اليدوي وتحسين جودة البيانات بشكل كامل.