تصميم Data Warehouse Architecture باستخدام Medallion Architecture (Bronze, Silver, Gold)

قمت بتصميم High-Level Architecture لنظام Data Warehouse يعتمد على مفهوم Medallion Architecture لتنظيم تدفق البيانات وتحويلها من بيانات خام إلى بيانات جاهزة للتحليل.

يبدأ النظام باستقبال البيانات من مصادر مختلفة مثل CRM وBRM في صورة ملفات CSV، ثم تمر البيانات عبر ثلاث طبقات رئيسية داخل مستودع البيانات:

Bronze Layer

يتم تخزين البيانات الخام كما هي (Raw Data) بدون أي تحويلات، مع تحميل البيانات باستخدام Batch Processing وعمليات Full Load وTruncate & Insert.

Silver Layer

في هذه المرحلة يتم تنظيف البيانات ومعالجتها من خلال عمليات:

Data Cleansing

Data Standardization

Data Normalization

Data Enrichment

وذلك للحصول على بيانات منظمة وجاهزة للاستخدام.

Gold Layer

يتم تحويل البيانات إلى Business-Ready Data من خلال:

Data Integration

Aggregations

تطبيق Business Logic

كما يتم تنظيم البيانات باستخدام Star Schema وAggregated Tables لتكون جاهزة للاستخدام في أدوات التحليل.

بعد ذلك يتم استهلاك البيانات في:

BI & Reporting

SQL Queries

Machine Learning

المشروع يوضح فهمي لكيفية تصميم بنية مستودعات البيانات وتنظيم تدفق البيانات لدعم التحليلات واتخاذ القرار.