Real-Time Data Pipeline: MySQL → Kafka → PostgreSQL using Docker & Kafka Connect

هذا المشروع يوضح كيفية بناء خط تدفق بيانات (Real-Time Data Pipeline) يقوم بنقل التغييرات في قاعدة بيانات MySQL إلى PostgreSQL في الوقت الفعلي باستخدام Kafka وKafka Connect مع تقنية Change Data Capture (CDC).

تم تنفيذ المشروع باستخدام Docker Compose لتشغيل خدمات متكاملة تشمل:

MySQL (كمصدر البيانات - Source)

Kafka Broker & Connect (للتدفق والمعالجة اللحظية)

PostgreSQL (كوجهة نهائية - Sink)

Kafka UI لمتابعة المواضيع (Topics) في الزمن الحقيقي

مراحل العمل:

إعداد بيئة متكاملة عبر ملف dc.yaml.

تشغيل MySQL Source Connector لالتقاط تغييرات البيانات (Insert/Update/Delete).

تشغيل PostgreSQL Sink Connector لكتابة البيانات إلى قاعدة الوجهة.

مراقبة تدفق البيانات عبر Kafka Topics باستخدام Kafka UI.

التحقق من تدفق البيانات بشكل لحظي بين MySQL وPostgres.

النتيجة:

أي تعديل يتم في قاعدة MySQL يتم نسخه تلقائيًا في PostgreSQL دون أي تدخل يدوي — مما يثبت نجاح عملية CDC (Change Data Capture) في الزمن الحقيقي.