بناء نظام Streaming Data Pipeline باستخدام Kafka وSpark

في هذا المشروع قمت بتصميم وتنفيذ نظام Streaming Data Pipeline لمعالجة البيانات في الزمن الحقيقي.

النظام يعتمد على Apache Kafka لاستقبال البيانات اللحظية من مصادر متعددة (مثل تطبيقات المستخدمين)،

ثم يتم تحليلها وتحويلها في الوقت الفعلي باستخدام Apache Spark Streaming قبل تحميل النتائج إلى قاعدة بيانات مركزية PostgreSQL.