تحليل وتنظيف البيانات

فهم البيانات وتحديد الأهداف (Understanding & Defining)

​تحديد الأسئلة: ما هي المشكلة التي نحاول حلها؟ (مثلاً: لماذا انخفضت المبيعات في الشهر الماضي؟).

​استكشاف البيانات: إلقاء نظرة سريعة على حجم البيانات، أنواع الأعمدة (نصوص، أرقام، تواريخ)، ومصدرها.

​2. تنظيف البيانات (Data Cleaning)

​هذه المرحلة تستهلك حوالي 80% من وقت محلل البيانات، وتشمل:

​التعامل مع القيم المفقودة (Missing Data): هل ستقوم بحذف الصفوف الناقصة؟ أم تعويضها بمتوسط الحساب؟

​إزالة التكرار (Removing Duplicates): التأكد من عدم وجود سجلات مكررة تؤثر على دقة الإحصائيات.

​توحيد التنسيقات (Standardization): التأكد من أن جميع التواريخ بنفس الصيغة، وأن الكلمات مكتوبة بشكل موحد (مثلاً: "مصر" بدلاً من "مصر " بمسافة زائدة).

​معالجة القيم الشاذة (Outliers): التعامل مع الأرقام غير المنطقية (مثلاً: عمر موظف 200 سنة).

​3. استكشاف البيانات وتحليلها (Exploratory Data Analysis - EDA)

​بعد أن أصبحت البيانات نظيفة، نبدأ بالبحث عن الأنماط باستخدام الإحصاء:

​الإحصاء الوصفي: حساب المتوسط (Mean)، الوسيط (Median)، والانحراف المعياري لفهم توزيع البيانات.