تنظيف للبيانات باستخدام بايثون

في هذا المشروع قمت بتنفيذ مسار عمل برمجي دقيق واحترافي لتنظيف واستكشاف وفحص جودة بيانات مبيعات متجر تجزئة باستخدام لغة بايثون، مع تطبيق أفضل ممارسات توثيق العمليات (Logging System) ومعالجة الأخطاء لضمان أعلى مستوى من دقة وتكامل البيانات (Data Integrity).المراحل والمهام المنفذة في المشروع:1. فحص واستكشاف البيانات (Data Exploration):استعراض أولي للبيانات ومطالعة العينات للتأكد من بنية الأعمدة. التحقق من الأنواع البرمجية للبيانات (Data Types) ومطابقتها مع طبيعة كل عمود. فحص تنوع البيانات واستخراج القيم الفريدة للمدن (531 مدينة فريدة) وطرق الشحن (Ship Modes). 2. المعالجة المنطقية للقيم المفقودة (Domain-Knowledge Imputation):فحص دقيق للقيم المفقودة واكتشاف أن النقص ينحصر فقط في عمود الرمز البريدي (Postal Code) وتحديداً لمدينة Burlington في منطقة الشرق (East). استبدال القيم الناقصة بالقيمة البريدية الحقيقية جغرافياً (05401) بدلاً من مجرد الحذف العشوائي للحفاظ على حجم العينة ودقة التحليلات. التحقق بعد المعالجة لضمان وصول القيم المفقودة إلى صفر (Missing values = 0). 3. فحص تكامل وصحة البيانات (Data Integrity & Business Logic Checks):فحص القيم المكررة: التأكد التام من عدم وجود أي سجلات مكررة (Duplicate Rows). التحقق من منطقية الأرقام (Negative / Invalid Values):التأكد من عدم وجود كميات بيع سالبة أو صفرية (Quantity <= 0). التأكد من إيجابية قيم المبيعات وعدم وجود قيم سالبة (Sales <= 0). فحص نسب الخصم للتأكد من عدم تجاوزها الحد المنطقي (Discount > 100%). 4. التحليل الإحصائي وفحص القيم الشاذة (Outlier & Statistical Analysis):استخراج الإحصاءات الوصفية (describe()) لأعمدة المبيعات ونسب الخصم. فحص الفروقات الكبيرة بين الحد الأقصى للمبيعات وباقي السجلات وتحليل طبيعتها للتأكد من أنها ضمن النطاق التجاري الطبيعي وليست أخطاء إدخال. 5. التوثيق والتعامل مع الأخطاء (Logging & Exception Handling):إدارة تنفيذ الكود بالكامل داخل كتل try-except لتفادي الأخطاء البرمجية المفاجئة. تسجيل كل خطوة ونتيجتها تلقائياً داخل ملف سجلات احترافي (logging file) لتسهيل المتابعة والمراجعة. الأدوات والمكتبات المستخدمة:PythonPandas (تنظيف، فلترة، والتحقق المنطقي من البيانات) Logging (بناء سجلات التتبع) JupyterLab