Zero Dose Data Warehouse- Databricks | بناء مستودع بيانات متكامل على

قمت بتصميم وتنفيذ مستودع بيانات متكامل Data Warehouse باستخدام Medallion Architecture على منصة Databricks، بهدف تتبع الأطفال غير الملقحين Zero Dose والمتسربين من برامج اللقاح Defaulters.

يعتمد المشروع على معالجة بيانات ميدانية كبيرة يتم جمعها عبر فرق التطعيم، حيث تم بناء نظام كامل يبدأ من إدخال البيانات الخام CSV وصولاً إلى لوحات معلومات جاهزة للتحليل عبر Power BI.

? مكونات المشروع

بناء Pipeline متكامل ETL/ELT باستخدام PySpark

تطبيق Medallion Architecture Bronze / Silver / Gold

تنظيف البيانات وتوحيدها وتحسين جودتها

تصميم Fact & Dimension Tables لدعم التحليل

ربط البيانات مع Power BI لإنشاء داشبورد تفاعلي

إدارة البيانات باستخدام Delta Lake وUnity Catalog

? الطبقات

Bronze Layer: إدخال البيانات الخام بدون تعديل

Silver Layer: تنظيف البيانات وتوحيدها، تنسيق، إزالة الأخطاء، تحسين الأسماء

Gold Layer: جداول تحليلية جاهزة Fact & Dimensions

? النتائج

تحسين كبير في أداء التحليل وسرعة الوصول للبيانات

تقليل الأخطاء وزيادة موثوقية البيانات

دعم اتخاذ القرار من خلال بيانات محدثة ومنظمة

إمكانية التحديث شبه اللحظي Near Real-Time