قمت بتصميم وتنفيذ منصة متكاملة لمعالجة وتحليل البيانات المالية في الوقت الحقيقي بهدف اكتشاف عمليات الاحتيال بشكل فوري.
يعتمد النظام على بنية Streaming حديثة حيث تم استخدام Kafka و Debezium لقراءة البيانات مباشرة من قاعدة البيانات (CDC)، ثم معالجتها باستخدام Apache Flink لاستخراج Features وتطبيق نماذج التنبؤ بالاحتيال.
تم بناء Workflow متكامل باستخدام Apache Airflow لإدارة عمليات ETL و ELT، بالإضافة إلى تحميل البيانات بشكل منظم داخل Snowflake باستخدام نماذج Data Warehouse تعتمد على منهجية Kimball.
مميزات المشروع:
معالجة بيانات لحظية (Real-Time Processing)
نظام قابل للتوسع (Scalable Architecture)
تطبيق تقنيات Machine Learning لاكتشاف الاحتيال
استخدام Data Modeling احترافي (Star Schema)
ضمان جودة البيانات ومعالجة الأخطاء