canadian grants project
تفاصيل العمل
? من "فوضى البيانات" إلى "قرارات مالية": مشروع هندسة وتحليل بيانات (ETL Project)
في عالم البيانات، يقال إن 80% من وقت المحلل يضيع في "تنظيف البيانات". لذلك، قررت في مشروعي الثالث التركيز على الجانب التقني الأصعب: هندسة البيانات (Data Engineering & ETL).
? التحدي:
التعامل مع ملفات بيانات حكومية كندية حقيقية (Raw Data) تغطي 10 سنوات من المنح المالية. البيانات كانت غير مهيكلة (Messy)، تحتوي على رموز غريبة، وتنسيق غير صالح للتحليل المباشر.
?️ الحل التقني (The Solution):
قمت ببناء ETL Pipeline كامل باستخدام Python من الصفر:
1️⃣ Extract & Transform (Python/Pandas):
كتابة كود Python لمعالجة القيم المفقودة (Handling Missing Values).
استخدام تقنية Melting/Unpivoting لتحويل هيكل البيانات ليكون قابلاً للتحليل.
تنظيف النصوص والأرقام المالية.
2️⃣ Load (MySQL):
تصميم مخزن بيانات (Data Warehouse) ورفع البيانات النظيفة عليه باستخدام SQL.
3️⃣ Visualize (Power BI):
بناء لوحة تحكم مالية تتبع إنفاق أكثر من 9.5 مليار دولار، وتحديد البرامج الأكثر تكلفة مثل (IRAP).
? النتيجة:
تحويل ملفات Excel معقدة وغير مفهومة إلى قاعدة بيانات منظمة وداشبورد تفاعلية تدعم اتخاذ القرار.
? يمكنكم الاطلاع على كود التنظيف (Python) والمشروع كاملاً هنا:
? لمشاهدة معرض أعمالي الكامل (Portfolio):
#DataAnalysis #DataEngineering #ETL #Python #Pandas #SQL #PowerBI #DataCleaning #WaelAnalytics