تنفيذ ETL Pipeline احترافي باستخدام Python وAirflow وPostgreSQL

مشروع متكامل لبناء ETL Pipeline باستخدام Python و Apache Airflow و PostgreSQL.

يقوم المشروع باستخراج البيانات من ملفات CSV و API، ثم تنظيفها وتحويلها والتحقق من صحتها قبل تحميلها إلى قاعدة بيانات PostgreSQL باستخدام Fact و Dimension Tables.

تم المشروع بالكامل باستخدام Airflow مع إضافة Monitoring و Logging لتتبع التنفيذ.

التقنيات المستخدمة:

Python - Pandas - Airflow - PostgreSQL - SQLAlchemy