بناء Data Pipeline لجمع البيانات من Web Scraping و API باستخدام Python و Selenium

قمت بتطوير Data Pipeline باستخدام لغة Python لجمع البيانات من مصدرين مختلفين ودمجها في شكل منظم.

في المرحلة الأولى، تم استخدام Selenium لاستخراج بيانات المنتجات (العنوان والسعر) من موقع إلكتروني، مع التحكم في المتصفح والتعامل مع عناصر الصفحة بشكل آلي.

في المرحلة الثانية، تم جلب بيانات إضافية من API باستخدام مكتبة requests، ثم تحويل البيانات إلى DataFrame باستخدام Pandas.

تم تصميم الكود داخل دالة (run_full_pipeline) لتكون قابلة لإعادة الاستخدام والتنظيم، مما يحاكي بيئة عمل حقيقية في مجال Data Engineering.