نظام أتمتة معالجة الحركات المالية (ETL Pipeline) باستخدام Airflow & Docker

مشروع احترافي تم تطويره ضمن مسار "ذكاء الاصطناعي وهندسة البيانات" بمبادرة DEPI. يهدف المشروع إلى بناء نظام مراقبة وتدقيق آلي للحركات المالية، مع إصدار تقارير دورية وإشعارات فورية، مما يضمن دقة البيانات (Data Integrity) وسرعة رصد التعديلات.

المميزات التقنية التي نفذتها:

هندسة المسارات (DAG Architecture): تصميم مسار عمل يتكون من 4 مراحل أساسية تبدأ من تسجيل الطابع الزمني للعملية وتنتهي بإرسال التقارير.

أتمتة التقارير (Automated Reporting): برمجة وظيفة (PythonOperator) لتجميع البيانات المالية وإصدار تقارير ملخصة تلقائياً.

إدارة البيئة البرمجية (Containerization): تشغيل النظام بالكامل داخل بيئة Docker لضمان استقرار الأداء وسهولة النقل بين السيرفرات.

نظام الإشعارات الآلي: دمج خاصية (EmailOperator) لإرسال ملخص الحركات المالية للمسؤولين فور انتهاء المعالجة.

تكامل التقنيات: الربط بين Python و Bash و PostgreSQL لإدارة البيانات الوصفية (Metadata).

الأدوات المستخدمة:

Apache Airflow 2.x (Orchestration)

Docker & Docker Compose (DevOps)

Python 3.x (Data Processing)

PostgreSQL (Database)