DataFlow Monitor

مشروع DataFlow Monitor هو نظام لمراقبة وتحليل أداء خطوط البيانات (Data Pipelines) وعمليات ETL/ELT، تم تصميمه لمحاكاة بيئة Data Engineering حقيقية تساعد على متابعة حالة الـ Pipelines واكتشاف مشاكل البيانات والأداء بشكل مستمر. يعتمد المشروع على PostgreSQL لتخزين بيانات مصادر البيانات، وعمليات تشغيل الـ Pipelines، وعدد السجلات المعالجة، ومدة التنفيذ، ونتائج فحوصات جودة البيانات، مع استخدام SQL لتحليل هذه البيانات واستخراج مؤشرات الأداء مثل معدل نجاح وفشل العمليات، سرعة المعالجة، وحجم البيانات التي تم التعامل معها. كما يتضمن المشروع مجموعة من فحوصات Data Quality لاكتشاف المشاكل مثل القيم المفقودة، عدم تطابق البيانات، والأخطاء أثناء عمليات المعالجة. تم استخدام Docker وDocker Compose لتجهيز بيئة تشغيل منظمة ومعزولة تسهل تشغيل مكونات المشروع وإدارتها، مع الاعتماد على أدوات Data Engineering لتنظيم ومتابعة عمليات الـ Pipeline. وفي النهاية يتم عرض نتائج المراقبة من خلال Dashboard توضح حالة الـ Pipelines، والأداء، ومعدل الـ Throughput، وجودة البيانات والتنبيهات، مما يجعل المشروع نموذجًا عمليًا لنظام مراقبة Data Pipelines يمكن تطويره وتوسيع نطاقه مستقبلًا.