مشروع ETL (استخراج – تحويل – تحميل) لمعالجة البيانات من مصادر مختلفة (CSV – JSON – SQL Server – Web API).

CSV (مثلاً products.csv).

JSON (مثلاً orders.json).

SQL Server (جدول products).

Web API (باستخدام مكتبة requests).

توحيد الأعمدة

تغيير أسماء الحقول لتكون موحدة (id, name, price, category) بغض النظر عن المصدر.

إدارة الأخطاء

في حالة عدم وجود ملف أو خطأ بالاتصال مع SQL Server، الكود بيطبع رسالة خطأ وما يوقفش.

حفظ النتائج في أكثر من صيغة

CSV (combined.csv).

Parquet (combined.parquet).

قاعدة بيانات SQL Server (جدول web_scrap_table).

سهولة التعديل والتوسع

ممكن تضيف مصادر بيانات جديدة أو تعدل طريقة التحويل بسهولة.

طريقة التنفيذ:

الاستخراج (Extract):

قراءة بيانات من ملفات CSV, JSON.

جلب البيانات من SQL Server عبر ODBC connection string.

استدعاء بيانات من API بالويب.

التحويل (Transform):

إعادة تسمية الأعمدة.

إضافة عمود source لتتبع مصدر البيانات.

دمج كل البيانات في DataFrame واحد باستخدام Pandas.

التحميل (Load):

حفظ البيانات المجمعة في CSV وParquet.

رفع البيانات مرة تانية لقاعدة بيانات SQL Server.