بناء مسار ETL آلي لتحليل أسعار الأسهم باستخدام MongoDB وPower BI

وصف العمل

مشروع مسار بيانات متكامل (ETL Pipeline) يهدف إلى جمع ومعالجة وعرض بيانات الأسواق المالية بشكل آلي، مع التركيز على تحليل أسعار الأسهم وتقديم رؤى واضحة حول اتجاهات السوق.

تم في هذا المشروع تطوير نظام يقوم بجلب بيانات أسعار الأسهم في الوقت القريب من الحقيقي (Near Real-Time) لـ 17 شركة عالمية كبرى، من بينها: Apple، Nvidia، Microsoft، وذلك بالاعتماد على واجهة Yahoo Finance API.

مراحل تنفيذ المشروع

استخراج البيانات (Extract):

جلب بيانات أسعار الأسهم آليًا من Yahoo Finance API باستخدام Python.

معالجة وتحويل البيانات (Transform):

حساب مؤشرات فنية مهمة، مثل:

المتوسط المتحرك لـ 5 أيام

المتوسط المتحرك لـ 30 يومًا

نسبة التغير اليومي في السعر (Daily Returns)

تحميل وتخزين البيانات (Load):

تخزين البيانات المعالجة في MongoDB Atlas بطريقة منظمة وقابلة للتوسع.

الأتمتة والجدولة:

استخدام Apache Airflow لأتمتة مسار العمل، جدولة المهام، وضمان استمرارية تحديث البيانات دون تدخل يدوي.

العرض والتصور:

ربط البيانات مع Power BI وإنشاء لوحات معلومات تفاعلية لعرض اتجاهات السوق ومتابعة أداء الأسهم بشكل بصري واضح.

الأدوات والتقنيات المستخدمة

Python

Extract, Transform, Load (ETL)

Apache Airflow

MongoDB Atlas

Power BI (Dashboards & Data Visualization)