Smart City Data Engineering Project

نبذة عن المشروع

مشروع لمعالجة بيانات أجهزة الاستشعار الخاصة بالمدن الذكية في الزمن الحقيقي.

تم بناء Streaming Pipeline باستخدام Apache Kafka وPySpark لمعالجة آلاف الرسائل في الثانية، مع إدارة العمليات باستخدام Apache Airflow وdbt، بالإضافة إلى مراقبة الأداء بواسطة Datadog وPrometheus.

يشمل المشروع CI/CD كامل باستخدام Docker وGitHub Actions.

الخدمات المقدمة

Kafka Streaming

PySpark Processing

Apache Airflow Workflows

dbt Data Modeling

Docker Deployment

Monitoring

CI/CD

PostgreSQL Integration

التقنيات المستخدمة

Apache Kafka

PySpark

Apache Airflow

dbt

Docker

Datadog

Prometheus

PostgreSQL

GitHub Actions