Instacart-Data-Warehouse

قمت بتصميم وتنفيذ نظام ETL متكامل لتحويل ملفات CSV الخام إلى مستودع بيانات (Data Warehouse) متكامل باستخدام Apache Airflow وSQL Server. يتضمن المشروع إنشاء جداول أبعاد ووقائع (Fact & Dimension Tables) تدعم التحليلات المتقدمة وتصورات البيانات باستخدام Power BI.

المهام الرئيسية:

إنشاء جداول أبعاد ووقائع وفق نموذج النجمة (Star Schema).

تطبيق تقنية SCD Type 2 للاحتفاظ بالتغيرات التاريخية في البيانات.

إعداد بايبلاين ETL باستخدام Airflow على Docker.

تنظيف البيانات والتحكم في الجودة باستخدام Pandas.

بناء لوحات تفاعلية باستخدام Power BI لتحليل سلوك العملاء والمبيعات.

التقنيات المستخدمة:

SQL Server، Apache Airflow، Docker، Pandas، Power BI