Central Superstore Data Warehouse & ETL Pipeline

نظرة عامة على المشروع

تصميم مستودع بيانات (DWH) متكامل باستخدام معمارية Medallion. يعالج المسار المبني على SQL البيانات عبر طبقات Staging، Bronze، Silver، وGold لتقديم هياكل بيانات نظيفة، محسنة، وجاهزة للأعمال.

المشكلة

تتطلب بيانات التجزئة الخام (Excel) مسار ETL آلي وقابل للتوسع لتكون صالحة للتحليل. التحدي هو تحويل الصيغة، تحميل البيانات، تنظيفها من الشذوذ (كالقيم المفقودة والسجلات غير الصالحة)، وإعادة هيكلتها إلى Star Schema مُحسّن لتقارير ذكاء الأعمال (BI).

الأهداف

استيعاب البيانات: سكربت Python لتحويل ملف Excel إلى CSV لتسريع عمليات SQL BULK INSERT.

معمارية Medallion: بناء مخطط متعدد الطبقات لمعالجة البيانات تدريجياً.

جودة البيانات: كود SQL ديناميكي (طبقة Silver) لاكتشاف القيم المفقودة، السجلات غير الصالحة، والشذوذ الإحصائي (IQR).

النمذجة البعدية: تحويل البيانات إلى Star Schema (جدول حقائق fact_sales وجداول أبعاد للعملاء والمنتجات والطلبات).

جاهزية BI: تطوير إجراءات مخزنة وعروض SQL لحساب مؤشرات الأداء (KPIs) وتحليل الربحية.

أبرز النتائج

تنظيف Silver: توحيد البيانات وإزالة التكرار بـ ROW_NUMBER()، وتحديد القيم المتطرفة ديناميكياً بـ PERCENTILE_CONT.

تحسين Gold: ملء Star Schema نظيف وفرض تكامل مرجعي صارم (مفاتيح أساسية/أجنبية).

العروض التحليلية: عروض SQL تحسب تلقائياً مقاييس هامة كنسبة هامش الربح لدمجها مباشرة بلوحات البيانات.

الأدوات والتقنيات

قواعد البيانات: SQL Server (T-SQL, Stored Procedures, Views, Window Functions).

المعمارية: Medallion Architecture و Star Schema.

البرمجة والأتمتة: بايثون (مكتبة Pandas).