المشروع ده عبارة عن عملية ETL (Extract – Transform – Load) هدفها تحميل البيانات من قاعدة بيانات تشغيلية (Operational Database) إلى قاعدة بيانات أخرى بتعمل كـ Data Warehouse.
== الخطوات الأساسية:
1. الاستخراج (Extract):
استخدام مكون OLE DB Source لسحب البيانات من قاعدة بيانات اسمها gravity_books.
2. التحويل (Transform):
Derived Column: إنشاء أو تعديل أعمدة جديدة بناءً على قواعد أو Expressions.
Data Conversion: تحويل أنواع البيانات (Data Types) لتتوافق مع قاعدة البيانات الوجهة.
Lookup: ربط البيانات القادمة مع جداول أخرى للتحقق أو إضافة بيانات مكملة.
Union All: دمج أكثر من مصدر بيانات في تدفق واحد.
Slowly Changing Dimension (SCD): إدارة التغيرات البطيئة في البيانات (زي العملاء أو المنتجات) بحيث يحافظ على التاريخ القديم ويسجل الجديد.
OLE DB Command: تنفيذ أوامر SQL أثناء تدفق البيانات (مثلاً تحديث أو تعديل صفوف).
3. التحميل (Load):
استخدام OLE DB Destination لتحميل البيانات بعد معالجتها إلى قاعدة بيانات اسمها Gravity_Books_DWH.
الهدف من المشروع:
- نقل البيانات من النظام التشغيلي إلى مستودع بيانات (Data Warehouse).
- تنظيف وتحويل البيانات أثناء النقل بحيث تبقى جاهزة للتحليل.
- تطبيق قواعد زي SCD عشان يحافظ على تاريخ التغيرات في الجداول البُعدية (Dimensions).