مرحلة تنظيف ومعالجة البيانات

1. معالجة القيم المفقودة (Handling Missing Values)

الفحص: تحديد الأعمدة التي تحتوي على قيم فارغة.

الإجراء: تم استخدام تقنية التعويض (Imputation) باستخدام "المتوسط الحسابي" للقيم الرقمية، بينما تم حذف السجلات التي تفتقر لمعلومات جوهرية لا يمكن تعويضها.

2. إزالة البيانات المكررة (Removing Duplicates)

تم فحص قاعدة البيانات للتأكد من عدم وجود تكرار في السجلات (Records)، مما يمنع انحياز النموذج (Bias) لبيانات معينة ويقلل من استهلاك الذاكرة.

3. التعامل مع القيم الشاذة (Outliers Detection)

استخدام الأساليب الإحصائية مثل Z-Score لتحديد القيم البعيدة جداً عن النطاق الطبيعي والتي قد تؤثر سلباً على دقة الخوارزميات.

4. توحيد تنسيق البيانات (Data Standardization)

توحيد صيغ التواريخ، وتصحيح الأخطاء الإملائية في البيانات النصية، وتحويل الفئات (Categorical Data) إلى قيم عددية ليفهمها النموذج البرمجي.