بناء خط أنابيب بيانات كامل: Web Scraping + Snowflake + dbt

قمت ببناء مشروع هندسة بيانات متكامل من الصفر يتضمن:

- استخراج بيانات تلقائي (Web Scraping) لـ 1000 منتج عبر 50 فئة من موقع تجارة إلكترونية حقيقي باستخدام Python و BeautifulSoup

- تنظيف وتحويل البيانات باستخدام Pandas: إزالة التكرار، التحقق من الجودة، إضافة أعمدة مشتقة

- تحميل البيانات إلى Snowflake (Cloud Data Warehouse) باستخدام Snowflake Python Connector

- بناء طبقة تحويل باستخدام dbt: نماذج Staging و Analytics Mart مع اختبارات تلقائية

- كتابة 9 اختبارات وحدة باستخدام pytest مع محاكاة طلبات HTTP

- رفع المشروع كاملاً على GitHub بـ README احترافي وصور توضيحية

التقنيات المستخدمة: Python 3.10 · BeautifulSoup4 · Pandas · Snowflake · dbt · pytest