عمل شامل لمعالجة البيانات (Universal Data Preprocessing Framework)

هذا المشروع عبارة عن محرك تكرير بيانات ذكي وآلي، يأخذ أي مجموعة بيانات خام (مثل بيانات العملاء، المطالبات التأمينية، السجلات الطبية، أو البيانات المالية) ويمر بها عبر عملية تنقية موحّدة من 15 خطوة وفق أفضل الممارسات المتبعة في علم البيانات، لتخرج في النهاية جاهزة تمامًا لتدريب نماذج الذكاء الاصطناعي.

لماذا هذا المشروع مهم؟

توفير الوقت: يقضي علماء البيانات عادة 70-80% من وقتهم في تنظيف البيانات يدويًا؛ هذا الإطار يُنجز ذلك في ثوانٍ.

تحكم تفاعلي: بدلاً من أن يكون "صندوقًا أسود" جامدًا، يسأل المستخدم عن الطريقة المفضلة في نقاط القرار الحرجة (مثل كيفية تعويض القيم المفقودة أو التعامل مع القيم الشاذة).

سهل الاستخدام: يمكن لأي شخص تشغيله بأمر واحد دون خبرة تقنية، مع رسائل توضيحية بلغة بسيطة.

شفافية بصرية: يُنشئ لوحة تحكم تفاعلية (dashboard) في المتصفح لعرض توزيعات البيانات والقيم الشاذة والعلاقات بين المتغيرات.

أبرز الخصائص التقنية

يدعم مشكلات التصنيف والانحدار على حدٍ سواء، ويقبل صيغ ملفات متعددة (CSV, TSV, TXT, XLSX, Parquet).

يمنع "تسرّب البيانات" بشكل صارم من خلال فصل بيانات التدريب عن الاختبار قبل عمليتي التحجيم (Scaling) والترميز (Encoding).

بنية معيارية منفصلة (كل خطوة معالجة في وحدة مستقلة) تسهّل الاختبار والتوسعة.

واجهة تفاعلية عبر الطرفية (interactive_cli.py) مع وضع تلقائي كامل (--mode auto) للتشغيل بدون تدخل بشري.

خطوات المعالجة الخمس عشرة (باختصار)

تبدأ العملية بفهم طبيعة المشكلة والبيانات، ثم حذف الأعمدة غير المفيدة، وفحص أنواع البيانات وتصحيحها، فمعالجة القيم المفقودة والقيم الشاذة والتكرارات، يليها توليد لوحة تحكم بصرية شاملة، ثم تقسيم البيانات إلى مجموعتي تدريب واختبار، وأخيرًا تطبيق التحجيم (Normalization/Scaling) وترميز الفئات النصية إلى أرقام رياضية.

المخرجات النهائية

عند انتهاء التشغيل، يحصل المستخدم على:

dashboard.html: لوحة تحكم بصرية تفاعلية واحدة تحتوي كل الرسوم البيانية.

أربعة ملفات CSV (X_train, X_test, y_train, y_test) جاهزة تمامًا للاستخدام المباشر مع أي خوارزمية تعلم آلي مثل Logistic Regression أو XGBoost أو الشبكات العصبية، دون الحاجة لأي تنظيف إضافي.