Financial Data Pipeline باستخدام Airflow وSpark وPython

مشروع متكامل لمعالجة وتحليل البيانات المالية باستخدام تقنيات هندسة البيانات، بهدف بناء خط أنابيب Data Pipeline منظم يبدأ من تجهيز البيانات ومعالجتها وينتهي بإخراج بيانات جاهزة للتحليل واستخراج التقارير.

التقنيات المستخدمة:

Python لمعالجة وتحويل البيانات.

Apache Airflow لتنظيم وجدولة وتنفيذ مراحل الـData Pipeline.

Apache Spark لمعالجة البيانات بكفاءة.

Docker لتشغيل وإدارة بيئة المشروع.

SQL للتعامل مع البيانات والاستعلام عنها.

أهم ما تم تنفيذه:

بناء Data Pipeline متكامل لمعالجة البيانات المالية.

تنظيف وتحويل وتجهيز البيانات.

أتمتة مراحل معالجة البيانات باستخدام Airflow.

استخدام Spark لمعالجة البيانات.

تنظيم مكونات المشروع داخل بيئة Docker.

تجهيز البيانات النهائية لاستخدامها في التحليل واستخراج التقارير.