CryptoPulse – Real-Time Data Engineering Pipeline

طورت مشروعًا لمعالجة بيانات العملات الرقمية في الوقت الحقيقي، بدايةً من استقبال البيانات وحتى تخزينها ومعالجتها وعرضها بشكل مباشر.

استخدمت Apache Kafka لاستقبال البيانات بشكل مستمر، مع PostgreSQL لتخزين البيانات، وApache Airflow لتنظيم ومتابعة مراحل معالجة البيانات. كما استخدمت Docker لتشغيل وربط مكونات المشروع داخل بيئة واحدة، بالإضافة إلى Streamlit لعرض البيانات والنتائج في واجهة تفاعلية.

ركزت في المشروع على بناء Pipeline منظم وقابل للتوسع، وربط المكونات المختلفة معًا بحيث تنتقل البيانات بين مراحل النظام بشكل مستمر وموثوق.