⚽ خط أنابيب بيانات كرة القدم StatsBomb
تفاصيل العمل
⚽ خط أنابيب بيانات كرة القدم StatsBomb
AWS S3 | AWS Glue (PySpark) | Snowflake | dbt | Dagster | Python | Power BI
تم تصميم وتنفيذ منصة بيانات سحابية متكاملة (End-to-End) لاستقبال ومعالجة وتحليل بيانات أحداث مباريات كرة القدم كبيرة الحجم (~90 جيجابايت) من مجموعة بيانات StatsBomb Open Data.
تم بناء خط إدخال بيانات عالي الأداء باستخدام rclone لنقل ملفات JSON المتداخلة إلى AWS S3
تطوير عمليات ETL بدون خوادم باستخدام AWS Glue (PySpark) لتحويل وتسوية هياكل البيانات المتداخلة
تصميم مستودع بيانات قابل للتوسع باستخدام نموذج Star Schema على Snowflake
إنشاء طبقات تحليلية (Analytical Marts) باستخدام dbt لتحليل بيانات اللاعبين والفرق والمباريات
تنظيم وتشغيل خط المعالجة بالكامل باستخدام Dagster (الإدخال → التحويل → التخزين → النمذجة التحليلية)
دمج نموذج تعلم آلي وتقديم التحليلات من خلال تطبيق Streamlit ولوحات معلومات Power BI