بناء ETL Pipeline لمعالجة بيانات المبيعات باستخدام Python وMySQL

قمت بتصميم وتنفيذ ETL Pipeline لمعالجة بيانات المبيعات باستخدام Python وPandas، بدايةً من استخراج البيانات من ملفات CSV، ثم تنظيفها وتحويلها والتحقق من صحتها، وصولًا إلى تجهيزها للتحميل في قاعدة بيانات MySQL.

يتضمن المشروع معالجة البيانات المكررة والقيم الناقصة، توحيد أنواع البيانات والتنسيقات، وإعادة حساب القيم المفقودة، بالإضافة إلى إنشاء ملفات بيانات نظيفة جاهزة للاستخدام والتحليل.

تم تنظيم المشروع وفق مراحل ETL الأساسية:

Extract: استخراج البيانات من ملفات CSV.

Transform: تنظيف وتحويل والتحقق من البيانات.

Load: تجهيز البيانات وتحميلها إلى قاعدة بيانات MySQL.

التقنيات المستخدمة: Python, Pandas, MySQL, SQLAlchemy, PyMySQL, SQL

أهم ما يوضحه المشروع:

بناء ETL Pipeline من البداية للنهاية.

تنظيف ومعالجة البيانات.

إزالة البيانات المكررة.

التعامل مع القيم الناقصة.

تحويل أنواع البيانات والتحقق من صحتها.

تجهيز البيانات لقاعدة بيانات علائقية.

استخدام Python وPandas في معالجة البيانات.