تحليل استكشافي للبيانات: معالجة القيم المفقودة والشاذة واستكشاف الأنماط

وصف:

يتناول هذا المشروع تحليلًا استكشافيًا للبيانات (EDA) بهدف فهم خصائص مجموعة بيانات كبيرة تحتوي على 40 عمودًا و33,145 صفًا. يتضمن العمل خطوات متعددة لتحليل ومعالجة البيانات استعدادًا للاستخدام في النمذجة والتنبؤات المستقبلية.

الخطوات الأساسية:

1. استكشاف البيانات:

- تحميل البيانات وفحصها لفهم الأبعاد والخصائص الأساسية.

- تحليل الأنواع المختلفة للبيانات (عددية وفئوية).

2. معالجة القيم المفقودة:

- استخدام مكتبة `missingno` لتصور الأنماط المفقودة.

- ملء القيم المفقودة باستخدام طرق مثل الوسط والوسيط للوحدات العددية، والوضع للوحدات الفئوية.

3. تحليل القيم الشاذة:

- إنشاء مخططات الصندوق (Boxplots) لتحديد القيم الشاذة.

- معالجة القيم الشاذة باستخدام تقنيات مثل استبدالها بالوسيط.

4. تصور البيانات:

- استخدام مكتبات مثل `matplotlib` و`seaborn` لتوضيح العلاقات بين المتغيرات.

- إنشاء مخططات حرارية ومصفوفات لتوضيح القيم المفقودة وتوزيع البيانات.

الأدوات والتقنيات المستخدمة:

- مكتبات Python: مثل `pandas`, `numpy`, `missingno`, `matplotlib`, و`seaborn`.

- تقنيات معالجة البيانات مثل تعبئة القيم المفقودة وتحليل القيم الشاذة.

الهدف:

إعداد البيانات بطريقة منظمة لتحليل أعمق أو لنماذج تعلم الآلة لاحقًا، مع ضمان جودة البيانات وتقليل تأثير المشكلات الشائعة مثل القيم المفقودة والشاذة.

مخرجات العمل:

- مجموعة بيانات معالجة وخالية من القيم المفقودة.

- تحليل شامل للعلاقات والأنماط داخل البيانات.

- تصور واضح للبيانات لتحديد الاتجاهات والمشكلات المحتملة.