DataForge | تطوير منصة لتنظيف ملفات Excel وCSV باستخدام Python

قمت بتصميم وتطوير DataForge، وهي منصة Full-Stack لمعالجة وتنظيف ملفات Excel وCSV باستخدام Python، بهدف أتمتة عمليات تجهيز البيانات وتحسين جودتها، وتوفير نتائج واضحة يمكن مراجعتها والتحقق منها.

يتيح النظام رفع الملفات، وتحديد الأعمدة وقواعد المعالجة، وتنفيذ عمليات التنظيف والتحقق، ثم استعراض النتائج وتحميل الملفات والتقارير الناتجة من خلال واجهة ويب تفاعلية.

أبرز الوظائف التي قمت بتطويرها:

◀ Data Processing & Automation

• بناء محرك معالجة باستخدام Python وPandas للتعامل مع ملفات CSV وExcel.

• تنفيذ قواعد للتحقق من الحقول المطلوبة، وأسماء المنتجات، والأكواد التعريفية SKU، والأسعار والكميات.

• اكتشاف السجلات المكررة وفق مفاتيح محددة مثل SKU والمورد.

• دعم مطابقة أسماء أعمدة ملفات المصدر مع هيكل البيانات المعتمد.

• فصل السجلات غير الصالحة مع الاحتفاظ بأسباب الرفض، دون اختراع قيم للبيانات الناقصة.

◀ Backend Development

• تطوير REST API باستخدام Python وFastAPI لإدارة عمليات رفع الملفات وتشغيل مهام المعالجة واسترجاع النتائج.

• استخدام Pydantic للتحقق من صحة المدخلات وتنظيم البيانات.

• تنظيم منطق المعالجة في وحدات قابلة للاختبار وإعادة الاستخدام.

• توفير نتائج المعالجة والتقارير من خلال ملفات قابلة للتنزيل.

◀ Frontend Development

• تطوير واجهة تفاعلية باستخدام React وTypeScript وTailwind CSS.

• بناء تجربة استخدام تشمل رفع الملفات، متابعة حالة المعالجة، معاينة النتائج، وعرض مؤشرات جودة البيانات.

• تصميم واجهات واضحة ومنظمة لعرض السجلات المقبولة والمرفوضة ونتائج التحقق.

◀ Reporting & Data Quality

• إنشاء ملفات CSV للبيانات المقبولة والسجلات المرفوضة.

• إصدار تقرير JSON يوضح ملخص المعالجة ومؤشرات جودة البيانات.

• تجميع المخرجات في ملف ZIP لتسهيل تحميلها.

• تنفيذ اختبارات آلية للتحقق من سلوك محرك المعالجة والواجهة.

◀ Real-World Testing

اختبرت محرك DataForge باستخدام مجموعة بيانات تاريخية حقيقية لعمليات البيع بالتجزئة، تحتوي على 541,909 سجلات.

نتائج تجربة المعالجة:

• إجمالي السجلات: 541,909

• السجلات المقبولة وفق قواعد التحقق: 530,691

• السجلات التي تم استبعادها وفق القواعد المحددة: 11,218

تتضمن السجلات المستبعدة حالات مثل المرتجعات ذات الكميات السالبة والحقول الإلزامية الناقصة، وهي ليست بالضرورة أخطاء تجارية في المصدر، لكنها لا تطابق قواعد المعالجة المطبقة في هذه التجربة.

التقنيات المستخدمة:

Python، Pandas، Pydantic، FastAPI، React.js، TypeScript، Tailwind CSS، Vite، REST APIs، CSV، Excel، JSON.

المشروع يوضح قدرتي على تطوير حل برمجي متكامل، بدءًا من تصميم منطق المعالجة والـBackend وحتى بناء واجهة الاستخدام والاختبارات وتجهيز النتائج.