تحليل بيانات 2.8 مليون رحلة تاكسي باستخدام Python وSQL وExcel وStreamlit

نبذة عن المشروع

تطوير مشروع متكامل لتحليل بيانات رحلات التاكسي في مدينة نيويورك، بهدف اكتشاف أنماط التنقل، وتحليل الإيرادات، وفهم الازدحام المروري، وتقييم الفروق الاقتصادية بين الرحلات داخل المدينة ورحلات المطارات.

يعتمد المشروع على بيانات رحلات منشورة من هيئة سيارات الأجرة والليموزين في نيويورك (NYC TLC)، مع استخدام Python وDuckDB وSQL وExcel لبناء منظومة تحليلية، وتقديم النتائج من خلال لوحة معلومات تنفيذية وتطبيق تفاعلي.

أهم مكونات المشروع

1. معالجة البيانات وتحليل جودتها

التعامل مع بيانات رحلات كبيرة الحجم.

فحص جودة البيانات وتطبيق قواعد لتنقية السجلات غير المناسبة للتحليل.

تجهيز البيانات لإجراء التحليلات الإحصائية والتجارية.

2. تحليل أنماط الرحلات

تحليل عدد الرحلات حسب ساعات اليوم.

تحديد مناطق الانطلاق الأكثر نشاطًا.

دراسة أنماط الطلب على خدمات التاكسي والازدحام خلال ساعات الذروة.

3. تحليل الإيرادات والتسعير

تحليل الإيرادات وتوزيع مكوناتها، بما يشمل الأجرة الأساسية والإكراميات والرسوم الإضافية.

مقارنة متوسط قيمة الرحلة بين رحلات المطارات والرحلات داخل المدينة.

دراسة مساهمة رحلات المطارات في إجمالي الإيرادات.

4. استعلامات SQL متقدمة

استخدام DuckDB لتنفيذ استعلامات تحليلية على البيانات.

تطبيق الدوال النافذية (Window Functions).

حساب معدلات التغير اليومي والمتوسطات المتحركة لمدة 7 أيام.

تحليل المسارات ومناطق الانطلاق والوصول.

5. لوحة معلومات تنفيذية باستخدام Excel

إنشاء تقرير تفاعلي ومنظم يتضمن:

مؤشرات الأداء الرئيسية.

توزيع الإيرادات.

تحليل أنماط الرحلات.

ساعات الذروة ومؤشرات الازدحام.

تحليل الأسعار والإكراميات.

مؤشرات تحليلية متقدمة مبنية على SQL.

6. تطبيق تفاعلي باستخدام Streamlit

تطوير واجهة ويب لاستكشاف نتائج التحليل، مع مساحة لتنفيذ استعلامات SQL، بما يتيح استكشاف البيانات والمؤشرات بصورة مباشرة.

الأدوات والتقنيات المستخدمة

Python، Pandas، DuckDB، SQL، Excel، Streamlit، Jupyter Notebook، Matplotlib.

مخرجات المشروع

لوحة معلومات تنفيذية متعددة الصفحات باستخدام Excel.

تطبيق تفاعلي لاستكشاف التحليلات.

استعلامات SQL منظمة للتحليل واستخراج المؤشرات.

رسوم بيانية وتقارير تلخص أنماط التنقل والإيرادات والازدحام.

الهدف من المشروع

تحويل بيانات النقل إلى معلومات قابلة للاستخدام لفهم الطلب على الرحلات، وتقييم الإيرادات، واكتشاف ساعات ومناطق الازدحام، وتقديم مؤشرات تدعم التحليل واتخاذ القرارات المبنية على البيانات.