مشروع ETL للطقس

مشروع ETL للطقس

نظرة عامة:

مشروع ETL للطقس يهدف إلى جمع بيانات الطقس لمدينة القاهرة، مصر، من واجهة برمجة التطبيقات OpenWeather، وتنفيذ عمليات تحويل أساسية، ثم تحميل البيانات إلى قاعدة بيانات PostgreSQL. تم أتمتة عملية ETL باستخدام Apache Airflow.

تفاصيل المشروع:

جمع البيانات:

استخراج بيانات الطقس من واجهة برمجة التطبيقات OpenWeather.

البيانات تشمل معلومات مثل درجة الحرارة، الرطوبة، وحالة الطقس.

التحويل:

إجراء تحويلات بسيطة على البيانات مثل تنسيق التاريخ، وتوحيد الوحدات (مثل تحويل درجات الحرارة إلى وحدة معينة).

تحميل البيانات:

تحميل البيانات المحوّلة إلى قاعدة بيانات PostgreSQL.

تنظيم البيانات في جداول مناسبة داخل قاعدة البيانات.

أتمتة العملية:

استخدام Apache Airflow لأتمتة عملية ETL.

إعداد مهام مبرمجة لجمع وتحويل وتحميل البيانات بشكل دوري.

التنبيهات والتقارير:

إنشاء تنبيهات أو تقارير عند حدوث أخطاء في عملية ETL أو عند اكتمال المهام بنجاح.

الفوائد:

توفير بيانات طقس دقيقة ومحدثة لمدينة القاهرة.

تسهيل تحليل البيانات من خلال تخزينها في قاعدة بيانات منظمة.

تحسين كفاءة إدارة البيانات من خلال الأتمتة باستخدام Apache Airflow.