تصميمم DATA WAREHOUSE

تعلمت من خلال هذا المشروع كيفية تصميم وتنفيذ مستودع بيانات (Data Warehouse) متكامل، حيث قمت بتطبيق المفاهيم النظرية عمليًا في مراحل جمع البيانات، تنظيفها، وتحويلها إلى طبقات منظمة وفقًا للـ Medallion Architecture.

يتبع مستودع البيانات بنية Medallion Architecture:

Bronze Layer: البيانات الخام المجمّعة من مصادر متعددة.

Silver Layer: البيانات المنظفة والموحدة والمُتحقق من صحتها.

Gold Layer: البيانات النهائية الجاهزة للتحليل وإعداد التقارير.

? التقنيات المستخدمة (Technologies Used):

SQL Server (T-SQL)

مفاهيم الـETL (Extract, Transform, Load)

تنظيف وتحقيق جودة البيانات

استخدام الـJoins والـConstraints وحساب مؤشرات الأداء (KPIs)

الخطوات الأساسية (Key Steps):

1. تصميم البيانات (Data Modeling):

تصميم الجداول الخاصة بكل طبقة (Bronze, Silver, Gold).

2. تنظيف البيانات (Data Cleaning):

التعامل مع القيم الفارغة (NULL).

إزالة المسافات الزائدة.

توحيد التنسيقات (مثل الجنس، الحالة الاجتماعية، والتواريخ).

3. تحويل البيانات (Data Transformation):

ربط الجداول باستخدام الـJoins.

حساب مؤشرات الأداء مثل:

Revenue = Quantity × Price

Profit = (Price - Cost) × Quantity

Order Delay = DATEDIFF(DAY, order_date, ship_date)

4. تحميل البيانات (Data Loading):

تحميل البيانات النظيفة والمحوّلة إلى طبقة الـGold للتحليل.

نتائج التعلم (Learning Outcomes):

من خلال هذا المشروع، تعلمتُ:

تصميم بنية متعددة الطبقات لمستودع البيانات.

تطبيق تقنيات تنظيف البيانات والتحقق من جودتها.

إنشاء أعمدة محسوبة ومؤشرات أداء (KPIs).

استخدام SQL بكفاءة في عمليات الـETL وإعداد التقارير.

هيكل المجلدات (Folder Structure):

Bronze Layer: البيانات الخام من المصادر.

Silver Layer: البيانات المنظفة والموحدة.

Gold Layer: البيانات النهائية للتحليل.

SQL Scripts: ملفات أوامر SQL الخاصة بالتنظيف والتحويل.

Documentation: ملفات التوثيق التي تشرح مراحل المشروع وخطوات الـETL.