ETL Project

. Source OLTP:

هذا هو المصدر الأصلي للبيانات (OLTP)، وهو نظام قواعد البيانات التشغيلية (Online Transaction Processing). يتم هنا استخراج البيانات المتعلقة بالقروض (مثل الفروع والعملاء) من نظام المعاملات.

2. Lookup Transformations:

هناك عدة خطوات Lookup في عملية التدفق. يتم استخدام Lookup للتحقق من تطابق البيانات بين الجداول المختلفة. مثلاً:

Lookup branch: يتم هنا مطابقة بيانات الفروع المستخرجة من المصدر مع بيانات الفروع الموجودة في جدول الأبعاد (Branch Dim). إذا كانت البيانات تتطابق، فإن عملية التدفق تستمر.

Lookup customer: يتم هنا التحقق من أن العملاء موجودون في جدول الأبعاد الخاص بالعملاء (Customer Dim).

Lookup 2 و Lookup: يمكن أن تكون هذه الخطوات الأخرى تحققًا من تطابق البيانات بين جداول أخرى مثل بيانات البطاقات أو الحسابات المصرفية.

3. OLE DB Destination:

في النهاية، يتم تحميل البيانات المجمعة والمتحققة إلى وجهة قاعدة البيانات (OLE DB Destination). هذا الجدول قد يكون جدول الحقائق (Loan Fact) في مستودع البيانات، حيث يتم تجميع كل المعاملات المالية المرتبطة بالقروض.

4. الخطوات التي مرت لتنفيذ المشروع:

1. تحليل الأعمال (Business Analysis):

تم فهم احتياجات العمل المتعلقة بتتبع القروض، الفروع، والعملاء. تم تحديد ما هي البيانات المهمة لتحليل القروض والمعاملات المتعلقة بها.

2. تصميم مخطط البيانات (Data Modeling):

تم تصميم مخطط البيانات مع جداول الأبعاد (Dimensions) مثل العملاء والفروع، وجداول الحقائق (Facts) مثل معاملات القروض نموذج الثلج (Snowflake Schema).

3. إنشاء حزمة SSIS (SSIS Package Creation):

تم إنشاء حزمة SSIS مثل التي تراها في الصورة باستخدام SSIS Data Flow Task. تم تحديد المصدر (Source OLTP) الذي يحتوي على البيانات الخام من النظام التشغيلي (OLTP).

4. إضافة تحويلات Lookup:

تم استخدام تحويلات Lookup لمطابقة البيانات بين المصدر وجداول الأبعاد للتحقق من صحة البيانات قبل تحميلها إلى قاعدة البيانات النهائية.

5. تحميل البيانات (Data Load):

بعد التحقق من البيانات باستخدام Lookup، يتم تحميل البيانات إلى جدول الحقائق النهائي (Fact Table) باستخدام OLE DB Destination.

6. اختبار التحميل (ETL Testing):

يتم اختبار عملية التحميل للتأكد من أن البيانات تم معالجتها وتحميلها بشكل صحيح