يهدف هذا المشروع إلى بناء نظام بيانات متكامل يجمع بين تخزين البيانات السحابي، التحليلات التفاعلية، والتنبؤ باستخدام تعلم الآلة، مما يتيح للشركات الوصول إلى رؤى دقيقة ومحدثة لدعم اتخاذ القرار.
خطوات العمل:
تصميم بنية البيانات والبنية التحتية:
إعداد قاعدة بيانات Azure SQL مع أعلى معايير الأمان مثل تشفير البيانات (TDE)، نسخ احتياطي جغرافي، ومجموعات الفشل التلقائي.
إنشاء إجراءات SQL متقدمة للتحقق من جودة البيانات، اكتشاف القيم المفقودة، وضبط قواعد العمل عبر جميع الجداول.
نمذجة البيانات وبناء لوحات المعلومات:
بناء نموذج بيانات من نوع Star Schema في Power BI مع ربط الجداول البُعدية والوقائعية.
استخدام DAX لتطوير مقاييس محسوبة، أعمدة حسابية، مؤشرات أداء (KPIs)، وتحليل اتجاهات سنوية وشهرية.
تصميم لوحات تفاعلية تقدم رؤى مخصصة لكل قسم داخل الشركة.
تحسين الوصول للبيانات باستخدام الذكاء الاصطناعي:
دمج Vanna AI لتمكين المستخدمين من طرح الأسئلة النصية وتحويلها مباشرة إلى استعلامات SQL صحيحة، مما يسرّع الوصول للمعلومات الفورية.
بناء نموذج تنبؤي باستخدام تعلم الآلة:
هندسة الخصائص مثل متوسط قيمة الطلبات، عدد الأيام كعميل، وعدد الطلبات.
تدريب نماذج Random Forest وXGBoost وتحليل أدائها باستخدام مؤشرات RMSE وR².
نشر النموذج الأفضل عبر تطبيق ويب باستخدام Streamlit لتوقع قيمة طلبات العملاء بناءً على بياناتهم.
التقنيات المستخدمة:
Azure SQL, Power BI, SQL Server
Python (Pandas، Scikit-learn، XGBoost, Random Forest)
Streamlit لتطوير تطبيق الويب
Vanna AI لأسئلة النصوص الذكية
النتائج:
نجح النظام في توفير حل عملي وشامل لربط البيانات، التحليلات، والتنبؤات، مع واجهة استخدام سهلة للمستخدمين غير التقنيين، مما جعله مناسبًا لتطبيقات العالم الحقيقي التي تتطلب تعاون فرق متعددة مثل فرق البيانات، الإدارة، والتسويق.