قمت بتطوير منصّة متكاملة لمعالجة وتحليل بيانات مباريات كرة القدم في الزمن الحقيقي.
المنصّة تعمل على:
- جمع البيانات من واجهة برمجة تطبيقات رياضية (TheSportsDB API) عن طريق منتجين (Producers) مكتوبين بلغة بايثون.
- نقل البيانات باستخدام Apache Kafka كوسيط رسائل سريع وموثوق.
- معالجة البيانات في الزمن الفعلي باستخدام Apache Spark Streaming مع تطبيق عمليات تنظيف، تحويل، والتحقق من جودة البيانات.
- إدارة وجدولة التدفقات (Real-time & Batch) باستخدام Apache Airflow.
- المراقبة والمتابعة عبر Grafana لعرض مؤشرات الأداء الحيوية.
- كمان ركّزت على جودة البيانات، من خلال فصل البيانات الصالحة عن المرفوضة وتخزينها بشكل يسهّل عمل تقارير OLAP لاحقًا.