منصة تحليل بيانات المدن في الوقت الحقيقي باستخدام Azure و Databricks

قمت بتطوير منصة Real-Time Data Engineering Platform لمراقبة حركة المرور وجودة الهواء في المدن باستخدام تقنيات الحوسبة السحابية على Microsoft Azure.

يستقبل النظام بيانات من حساسات المدن ويقوم بمعالجتها لحظيًا لاكتشاف الازدحام أو التلوث وإرسال تنبيهات فورية.

مكونات النظام:

1. تدفق البيانات في الوقت الحقيقي

تم بناء نظام ingestion باستخدام:

Azure Event Hub

Python Producer لمحاكاة بيانات الحساسات

حيث يتم استقبال آلاف الأحداث كل ساعة.

2. المعالجة الفورية (Stream Processing)

تم استخدام Azure Stream Analytics لتحليل البيانات وتصنيف التنبيهات حسب مستوى الخطورة.

3. نظام التنبيهات الذكي

تم تطوير آلية إرسال تنبيهات تلقائية باستخدام Azure Logic Apps لإخطار المستخدمين أو الجهات الحكومية بالحالات الحرجة.

4. بنية Medallion Architecture

تم تصميم طبقات البيانات باستخدام Databricks:

Bronze: البيانات الخام

Silver: تنظيف البيانات وإزالة التكرار

Gold: إنشاء مؤشرات الأداء والتحليلات

5. التحليلات ولوحات التحكم

تم بناء لوحات تحليلية باستخدام Power BI لعرض:

مؤشرات الازدحام المروري

مستويات التلوث

الاتجاهات الزمنية للبيانات

النظام قادر على معالجة تدفقات بيانات عالية السرعة مع زمن استجابة منخفض للتنبيهات.