تطوير قاعدة بيانات منظمة من ال Flat Files (CSV, XML, JSON,Excel)

مشروع: تحويل ومعالجة بيانات Flat Files إلى قاعدة بيانات منظمة

في هذا المشروع قمت بتحويل ملفات Flat Files (CSV، Excel، XML) بحجم يصل إلى 1 جيجا للملف المضغوط إلى قاعدة بيانات متكاملة وجاهزة للاستخدام.

أهم ما أنجزته في المشروع:

تنظيف البيانات من الصفوف الفارغة والمكررة باستخدام Pandas DataFrame.

تحويل البيانات إلى صيغة قابلة للاستيراد في أنظمة قواعد البيانات.

استيراد البيانات على SQL Server وتنظيمها في جداول مترابطة.

إنشاء العلاقات بين الجداول بما يضمن تحسين الأداء وسهولة الاستعلام.

التحقق من جودة البيانات لتصبح متسقة وصالحة للاستخدام في بيئة الإنتاج.

تجهيز البيانات لاستخدامها لاحقًا في بناء مستودع بيانات (Data Warehouse) ولوحات معلومات تفاعلية (Dashboards) وتحليلات متقدمة.