قمت بتنفيذ مشروع عملي لتنظيف ومعالجة بيانات موظفين باستخدام برنامج Microsoft Excel، بهدف تحويل بيانات غير منظمة إلى بيانات جاهزة للتحليل.
التحديات في البيانات الأصلية:
- كانت البيانات تحتوي على عدة مشاكل شائعة في جودة البيانات مثل:
- اختلاف صيغ الرواتب (رموز $، فواصل، قيم مفقودة مثل TBD و N/A).
- عدم توحيد تنسيق التواريخ (عدة صيغ مختلفة).
- وجود قيم نصية غير موحدة في الحقول (Yes / No / Y / N / TRUE / FALSE).
- مشاكل في تنسيق أسماء الوظائف (مثل وجود شرطات أو اختلاف في الكتابة).
- وجود أخطاء في الترميز (Encoding Issues) في بعض النصوص.
- بيانات ناقصة أو غير مكتملة في بعض الصفوف.
خطوات التنظيف التي تم تنفيذها:
- توحيد تنسيق الرواتب وتحويلها إلى صيغة رقمية قابلة للتحليل.
- تنظيف وتوحيد تنسيقات التواريخ إلى شكل موحد.
- توحيد القيم النصية في الأعمدة الفئوية (Categorical Data).
- معالجة القيم المفقودة (Missing Values) بطريقة مناسبة.
- إصلاح مشاكل الترميز في النصوص قدر الإمكان.
- توحيد مسميات الوظائف والأقسام لضمان الاتساق.
النتيجة النهائية:
تحويل البيانات من شكل غير منظم إلى Dataset نظيف ومنسق يمكن استخدامه في:
- التحليل الإحصائي.
- إنشاء التقارير.
- بناء لوحات المعلومات (Dashboards).