Data Cleaning and Analysis Using SQL

هذا المشروع هو عبارة عن نظام متكامل لتحليل بيانات السكك الحديدية (UK Train Rides)، يهدف إلى تحويل البيانات الخام لرحلات القطارات والمبيعات إلى رؤى ذكية (Insights) تساعد في اتخاذ قرارات لتحسين الخدمة وزيادة الإيرادات.

المشروع بيمر بدورة حياة تحليل البيانات الكاملة (Data Analysis Lifecycle)، وده وصف تفصيلي لكل مرحلة:

1. هيكلة قاعدة البيانات (Data Modeling)

تم تصميم قاعدة البيانات بنظام Star Schema، وهو النظام الأفضل للتحليل (Reporting). يتكون المشروع من:

جدول الحقائق (Fact_Transactions): وهو القلب اللي بيسجل كل عملية بيع تذكرة، وبيربط بين كل الجداول التانية.

جداول الأبعاد (Dimensions):

Journeys: تفاصيل الرحلات (حالة الرحلة، أوقات الوصول، أسباب التأخير).

Tickets: أنواع التذاكر وفئات الخصم (Railcards).

Routes: خطوط السير والمحطات.

Purchases: طرق الدفع وأنواع الشراء (Online vs Station).

DIM_Date: لتحليل الأداء الزمني (شهور، فصول السنة، أيام الأسبوع).

2. تنظيف ومعالجة البيانات (Data Cleaning & ETL)

دي المرحلة اللي اشتغلنا فيها سوا بالـ SQL لضمان جودة البيانات:

إزالة التكرارات: التأكد من عدم تكرار المعاملات أو الرحلات باستخدام ROW_NUMBER.

معالجة الـ NULLs:

تحويل القيم المفقودة في أسباب التأخير إلى "No Delay".

مساواة وقت الوصول الفعلي بالمتوقع للرحلات المنتظمة.

استخدام تقنية "Unknown Member" (إضافة ID = -1) لضمان عدم سقوط أي بيانات أثناء الربط (Joins).

توحيد التنسيقات: عمل TRIM للمسافات الزائدة وتوحيد حالة الحروف (Upper/Lower Case) للمسميات المتشابهة مثل (Weather, Staffing).

3. تحليل البيانات واستخراج الرؤى (Data Insights)

المشروع بيجاوب على أسئلة بيزنس هامة جداً، زي:

التحليل المالي: إجمالي الإيرادات، وتأثير كروت الخصم على الأرباح.

التحليل التشغيلي: تحديد أكثر المحطات ازدحاماً، وتحليل نسبة الرحلات المتأخرة أو الملغاة.

تحليل أسباب التأخير: معرفة هل المشاكل تقنية، جوية، أم متعلقة بنقص الموظفين للعمل على حلها.

سلوك العميل: متى يفضل الركاب الشراء أونلاين؟ وما هي أكثر فترات الذروة خلال اليوم؟

4. التصوير البياني (Visualization) - "الخطوة القادمة"

بعد ما الداتا بقت نظيفة وجاهزة في الـ SQL، بيتم سحبها على برنامج مثل Power BI أو Tableau لعمل Dashboard تفاعلية تحتوي على:

KPIs: (إجمالي الإيرادات، عدد الرحلات، نسبة الالتزام بالمواعيد).

Trends: خطوط بيانية توضح نمو المبيعات عبر الأشهر.

Maps: خرائط توضح حركة القطارات بين المحطات المختلفة.