مشروع تنظيف وتجيهز البيانات وعمل رسوم بيانيه باستخدام python

مشروع كامل لتنظيف البيانات الخام وتجهيزها قبل التحليل، وتم على مراحل:

- فهم البيانات: استعراض أول الصفوف وأسماء الأعمدة (9 أعمدة تشمل السن، النوع، السيرة الذاتية، المسمى الوظيفي، وصف الوظيفة).

- القيم المفقودة: فحص كل عمود باستخدام isnull().sum() والتأكد إن الداتا خالية من القيم المفقودة (0 في كل الأعمدة).

- الصفوف المكررة: فحص التكرار باستخدام duplicated().sum() والتأكد إن مفيش أي صف مكرر (0 صف).

- القيم الشاذة: رسم Boxplot للكشف عن القيم الشاذة وتحديد حدود التوزيع (الوسيط حوالي 1000، والقيم من 0 إلى 2300 تقريبًا، وظهور قيم شاذة عند الطرفين).

- حذف الأعمدة غير الضرورية: حذف عمود اسم المتقدم لأنه لا يفيد التحليل، فنزل عدد الأعمدة من 9 إلى 8.

- تجهيز البيانات: فصل المتغيرات المستقلة (X) عن المتغير المستهدف (Best Match)، وتقسيم البيانات إلى 16,000 صف للتدريب و4,000 صف للاختبار.

الرسوم البيانية: تجهيز رسوم بيانية (زي Boxplot وأعمدة المقارنة) لعرض توزيع البيانات وملخص النتائج بشكل