بناء Data Pipeline متكامل لتحليل بيانات الأفلام باستخدام Python و SQL و Apache Airflow

مشروع Data Engineering متكامل لمعالجة وتحليل أكثر من 32 مليون تقييم للأفلام من مجموعة بيانات MovieLens. يتضمن المشروع بناء ELT Pipeline كامل يعمل تلقائياً يومياً باستخدام Apache Airflow.

ما يشمله المشروع:

- جلب البيانات تلقائياً من الإنترنت ومعالجتها

- تخزين البيانات في PostgreSQL باستخدام Star Schema

- تنظيف البيانات والتحقق من جودتها بـ 17 فحص تلقائي

- تحليلات SQL متقدمة لاستخراج insights

- أتمتة كاملة باستخدام Apache Airflow

الأدوات: Python, PostgreSQL, Apache Airflow, Pandas, SQL, Docker