تصميم وتنفيذ Data Pipeline متكامل باستخدام Azure Data Factory

مشروع عملي يركز على بناء بنية بيانات حديثة تعتمد على Azure.

البيانات يتم جلبها من مصدر SQL ثم تمر بمراحل متعددة:

Ingestion (الاستخلاص): باستخدام Azure Data Factory لتحميل البيانات إلى Data Lake Gen2.

Raw Data Store (الطبقة البرونزية): تخزين البيانات الخام بصيغة Parquet في Data Lake.

Transformation (التحويل): عبر Databricks لتنظيف وتحويل وتوحيد البيانات.

Transformed Data (الطبقة الفضية): تخزين البيانات المهيكلة والمعالجة في Data Lake Gen2.

Serving Layer (الطبقة الذهبية): باستخدام Delta Lake لتجهيز البيانات النهائية وفق Star Schema أو One Big Table.

Consumption: ربط البيانات بـ Power BI لإنشاء تقارير ولوحات معلومات تفاعلية.

Security: حماية البيانات باستخدام Azure Active Directory وإدارة المفاتيح.