معالجة البيانات

قمت بتنفيذ مشروع هندسة بيانات شامل لتحويل بيانات مبيعات مقهى من مصدر خام إلى نموذج نجمة (Star Schema) جاهز للتحليل.

تضمنت المهام الرئيسية ما يلي:

1- استخراج البيانات: تم تحميل البيانات من ملف Excel باستخدام مكتبة Pandas.

2- تنظيف وتحويل البيانات:

3- التحقق من وجود قيم مفقودة أو مكررة ومعالجتها (لم يتم العثور على أي في هذه البيانات).

4- تحويل عمود تاريخ المعاملة (transaction_date) وعمود وقت المعاملة (transaction_time) إلى صيغة التاريخ والوقت المناسبة واستخلاص مكونات مثل السنة والشهر واليوم والساعة والدقيقة.

5- تحويل الأعمدة الفئوية (product_category و store_location و product_type) إلى تمثيلات رقمية باستخدام التعيين (Mapping) للتحضير للنمذجة.

6- إنشاء جدول الحقائق (Fact Table) وجداول الأبعاد (Dimension Tables):

تم إنشاء جدول حقائق (fact_transactions) يحتوي على معرفات المعاملات، معرفات المتاجر والمنتجات، الكمية، سعر الوحدة، والمبلغ الإجمالي المحسوب.

تم إنشاء جدول أبعاد للتاريخ (dim_date) يحتوي على معلومات التاريخ والوقت المستخلصة.

تم إنشاء جدول أبعاد للمخزن (dim_store) يحتوي على معلومات المتاجر والموقع.

تم إنشاء جدول أبعاد للمنتج (dim_product) يحتوي على معلومات فئة المنتج ونوعه وتفاصيله.

تم ربط جدول الحقائق بجداول الأبعاد باستخدام مفاتيح فريدة.

7- تخزين البيانات: تم حفظ جداول الحقائق والأبعاد كملفات CSV منفصلة لتسهيل الاستخدام في أدوات التحليل BI أو قواعد البيانات.

8- التنزيل: تم توفير إمكانية تنزيل الملفات الناتجة.

الأدوات والتقنيات المستخدمة:

* Python

* Pandas Library

* KaggleHub (لتحميل البيانات)

نمذجة بيانات Star Schema

هذا المشروع يوضح القدرة على التعامل مع البيانات الأولية، تنظيفها، تحويلها، ونمذجتها في هيكل منظم (Star Schema) مناسب للاستعلام والتحليل الفعال، مما يجعله مثالياً لمشاريع تحليل البيانات وإعداد التقارير.