تنظيف ومعالجة مجموعات بيانات ضخمة (Data Cleaning) وتحويلها من بيانات خام إلى تقارير جاهزة للتحليل

قمت في هذا المشروع بالعمل على مجموعة بيانات متنوعة وشاملة (تتضمن إحصائيات عالمية عن معدلات الجريمة، الطاقة، الفقر، والصحة)، حيث كانت البيانات في حالتها الأولية "الخام" تعاني من مشاكل في التنسيق، فقدان القيم، وتداخل البيانات.

المهام التي قمت بتنفيذها:

هيكلة البيانات (Data Structuring): تحويل الجداول غير المنظمة (Unstructured) إلى صيغ جداول منظمة (Structured CSV/Excel) يسهل التعامل معها برمجياً أو عبر أدوات التحليل.

تنظيف البيانات (Data Cleaning):

إزالة الصفوف والأعمدة الزائدة وغير الضرورية.

معالجة القيم المفقودة (Null values/N/A) وتوحيد تنسيقها.

تصحيح الأخطاء في أسماء الدول والرموز (Entities & Codes) لضمان دقة الربط الجغرافي.

توحيد التنسيقات (Formatting): توحيد صيغ الأرقام والتواريخ والنسب المئوية عبر جميع الملفات لضمان اتساق البيانات.

إعداد البيانات للتحليل (Data Pre-processing): تجهيز الملفات لتكون صالحة للاستخدام المباشر في أدوات تحليل البيانات مثل (Excel Power Pivot, Power BI, Tableau) أو باستخدام لغات البرمجة مثل Python (Pandas).