Automated ETL Pipeline Using Python | Data Extraction, Transformation & Loading

قمت ببناء ETL Pipeline متكاملة باستخدام Python لسحب بيانات أسعار الأسهم وتنظيفها وتحويلها وتخزينها بشكل آلي، ثم تحليلها وعرضها في لوحات تفاعلية.

المشروع بيشتغل على 3 مراحل واضحة:

1) Extract: سحب بيانات سهم Apple (AAPL) من Yahoo Finance عبر مكتبة yfinance (أسعار الفتح والإغلاق والأعلى والأدنى وحجم التداول).

2) Transform: تنظيف البيانات وتجهيزها باستخدام Pandas، وحساب مؤشرات إضافية تلقائيًا: التغير اليومي، نسبة التغير %، ومتوسط السعر.

3) Load: حفظ البيانات في ملف CSV وفي قاعدة بيانات SQLite عبر SQLAlchemy.

أهم ما تم تنفيذه:

✅ تقسيم المشروع إلى وحدات منفصلة (Extract / Transform / Load) وتشغيلها بأمر واحد.

✅ تغليف المشروع بـ Docker ليعمل على أي جهاز أو سيرفر بنفس النتيجة.

✅ تحليل البيانات ورسمها بـ Jupyter Notebook (Matplotlib).

✅ بناء لوحات تحليل تفاعلية في Power BI.

الأدوات المستخدمة:

Python • Pandas • yfinance • SQLAlchemy • SQLite • Docker • Jupyter • Power BI

النتيجة:

بيانات منظمة وجاهزة للتحليل تتحدث بتشغيل أمر واحد، ويمكن توسيعها لأسهم وشركات أخرى بسهولة.