مشروع Data warehouse و ETL كامل

مشروع يهدف إلى تصميم وتنفيذ مستودع بيانات (Data Warehouse) متكامل باستخدام SQL Server و SSIS، وذلك من خلال تحويل قاعدة بيانات تشغيلية (OLTP) خاصة بنظام مكتبة (Bookstore) إلى نموذج تحليلي Star Schema يدعم إعداد التقارير واتخاذ القرار.

يشمل المشروع بناء Fact Table رئيسي (fact_sales) على مستوى تفاصيل الطلب (Order Line)، بالإضافة إلى مجموعة من Dimension Tables مثل العملاء، الكتب، العناوين، طرق الشحن، حالة الطلب، التاريخ والوقت.

تم تطبيق مفاهيم متقدمة في مجال هندسة البيانات مثل:

استخدام Surrogate Keys بدلًا من المفاتيح الطبيعية

تطبيق Slowly Changing Dimensions (SCD Type 2) لتتبع التغيرات التاريخية (خصوصًا في dim_customer)

التعامل مع العلاقات المعقدة مثل Many-to-Many باستخدام Bridge Table (بين الكتب والمؤلفين)

كما تم تطوير ETL Pipeline باستخدام SSIS لاستخراج البيانات من النظام التشغيلي، وتحويلها (Transform)، ثم تحميلها إلى مستودع البيانات بشكل منظم وفعال، مع استخدام Lookup Transformations لربط المفاتيح.

تم أيضًا تنفيذ آلية Incremental Load من خلال إنشاء Control / Watermark Table، بحيث يتم تحميل البيانات الجديدة فقط في كل تشغيل، مما يحسن الأداء ويجعل النظام أقرب لبيئات العمل الحقيقية.