تنظيف وتحليل بيانات متجر إلكتروني باستخدام Python

قمت في هذا المشروع بالتعامل مع مجموعة بيانات ضخمة لمتجر تجزئه كانت تحتوي على العديد من المشاكل التقنية والأخطاء في البيانات (Messy Data). الهدف الأساسي كان تحويل هذه البيانات من شكلها العشوائي إلى بيانات نظيفة، دقيقة، وجاهزة لعمليات التحليل واتخاذ القرار.

المشاكل التي تم معالجتها (Data Cleaning):

اشتغلت على تحديد وإصلاح عدة مشكلات جوهرية في البيانات باستخدام مكتبة Pandas:

تصحيح أنواع البيانات (Data Types): تحويل الأعمدة من نصوص (Strings) إلى تواريخ (Datetime) أو أرقام (Floats/Integers)، مثل تحويل عمود المبيعات (Sales) وحذف علامة الـ "$" ليصبح قابلاً للعمليات الحسابية.

التعامل مع القيم المفقودة (Missing Values): رصدت وجود قيم مفقودة في أعمدة حيوية مثل Customer Name و Sales بنسبة وصلت لـ 5%، وقمت بتحليل أسبابها لاتخاذ الإجراء المناسب.

إزالة التكرارات (Duplicates): اكتشفت وجود صفوف مكررة بالكامل (20 صفاً) وصفوف مكررة بناءً على (Order ID & Product ID) وقمت بتنظيفها لضمان عدم تكرار الأرباح أو المبيعات بشكل وهمي.

فحص منطقية البيانات (Data Validity): التأكد من أن تاريخ الشحن لا يسبق تاريخ الطلب، وأن الخصومات تقع في المدى الصحيح (0-1).

الأدوات والمكتبات المستخدمة:

Python: اللغة الأساسية للمعالجة.

Pandas & NumPy: لتنظيف وهيكلة البيانات.

Matplotlib & Seaborn: لاستكشاف التوزيعات والبيانات المفقودة بصرياً.

النتائج:

تحويل ملف بيانات "خام" يحتوي على أكثر من 10,000 سجل إلى قاعدة بيانات منظمة.

توفير تقرير شامل عن جودة البيانات (Data Quality Report) يوضح الثغرات التي تم إصلاحها