تحليل أولمبياد طوكيو 2020 - باستخدام خدمات أزور السحابية

هذا المشروع يوضح سير عمل معالجة وتحليل البيانات باستخدام خدمات أزور السحابية. إليك شرحًا تفصيليًا للخطوات الموضحة في الرسم:

1. مصدر البيانات:

- تأتي البيانات الأولية من واجهة برمجة تطبيقات (API)، والتي قد توفر بيانات في الوقت الفعلي أو على شكل دفعات من مصدر خارجي.

2. استيعاب البيانات:

- يتم استخدام Azure Data Factory لأتمتة وإدارة نقل البيانات، حيث يقوم بسحب البيانات من واجهة برمجة التطبيقات وتخزينها في مخزن البيانات الأولية لمزيد من المعالجة.

- يتم إدارة مخزن البيانات الأولية بواسطة Azure Data Lake Storage Gen2، والذي تم تصميمه لتخزين البيانات وتحليلها على نطاق واسع.

3. تحويل البيانات:

- بعد استيعاب البيانات، يتم استخدام Azure Databricks لتحويل البيانات. يُعد Azure Databricks منصة تحليلات مبنية على Apache Spark وتتيح إجراء عمليات معالجة وتنقية وتحوير معقدة للبيانات.

- يتم بعد ذلك حفظ البيانات المحولة في Azure Data Lake Storage Gen2 في طبقة مختلفة للبيانات المنظمة والنظيفة، بحيث تكون جاهزة للتحليل.

4. التحليلات:

- يتم إرسال البيانات المحولة إلى Azure Synapse Analytics، الذي يوفر إمكانيات تحليل بيانات متقدمة، مما يسمح بمعالجة البيانات الكبيرة، وتخزين البيانات، وتنفيذ استفسارات معقدة على مجموعات بيانات ضخمة.

5. لوحة المعلومات:

- من أجل العرض المرئي وإعداد التقارير، يتم توصيل البيانات التحليلية بأدوات لوحات معلومات مختلفة، بما في ذلك Power BI . تتيح هذه الأدوات للمستخدمين إنشاء لوحات معلومات وتقارير ورؤى مرئية من البيانات المعالجة.