مشروع ETL لبيانات الطقس باستخدام Python وSQL Server

طورت خط أنابيب ETL باستخدام Python لجمع بيانات الطقس من OpenWeatherMap API لعشر مدن في مصر، ثم تنظيفها وتحويلها والتحقق من صحتها قبل تحميلها إلى SQL Server.

شمل المشروع:

* استخراج البيانات من API

* تنظيف ومعالجة البيانات

* تحويل درجات الحرارة إلى Celsius

* معالجة القيم المفقودة

* إنشاء خصائص إضافية مثل المنطقة وتصنيف الحرارة والرطوبة

* تسجيل وقت إدخال البيانات

* تحميل البيانات إلى SQL Server

استخدمت Python وRequests وPyODBC لتنفيذ خط أنابيب ETL منظم وقابل لإعادة الاستخدام.