TaxiTrack – منصة متكاملة لمعالجة وتحليل بيانات سيارات الأجرة في نيويورك

قمت بتطوير TaxiTrack، وهي منصة متكاملة لمعالجة ملايين سجلات رحلات سيارات الأجرة في مدينة نيويورك شهريًا، بهدف توفير تنبؤات دقيقة بالطلب، وتحليل شبكات الحركة، ولوحات معلومات تساعد الشركات على تحسين العمليات وزيادة الإيرادات.

أهم الإنجازات

خطوط معالجة مؤتمتة وعالية الأداء

جدولة عمليات ingestion شهرية عبر Airflow لمعالجة أكثر من 4.5 مليون سجل.

تخزين البيانات الخام بصيغة Parquet في MinIO.

معالجة وتحضير البيانات باستخدام ETL + dbt.

استخدام ClickHouse لتنفيذ استعلامات تحليلية سريعة جدًا (OLAP).

نشر المنصة بشكل كامل باستخدام Docker لضمان المرونة وقابلية التوسع.

نظام تنبؤات متقدّم

بناء نموذج LightGBM للتنبؤ بعدد الرحلات عبر 75+ مجموعة (منطقة × حي × نوع خدمة).

تحسين الخطأ بنسبة 60% وتحقيق دقة 8–12 رحلة/ساعة.

سرعة تنبؤ أقل من 100ms مع تقديم حدود ثقة ±20%.

هندسة ميزات متقدّمة

بناء أكثر من 20 ميزة زمنية وإحصائية تشمل:

الترميز الدوري، مؤشرات ساعات الذروة، الكثافة المطلوبة، الإحصاءات الدوّارة، وغيرها.

تنفيذ نمذجة قائمة على المجموعات مع معالجة متوازية وتقييم لأهمية الخصائص.

تحليلات شبكية (Network Intelligence)

تحليل 61 ألف تدفق حركة بين 260 موقعًا باستخدام NetworkX.

تحديد مناطق الطلب العالي، المناطق غير المخدّمة، ونقاط الازدحام.

تطبيقات تفاعلية ولوحات BI

إنشاء تطبيق Streamlit للتنبؤ الفوري مع رسوم بيانية تفاعلية.

تصميم لوحات Metabase لعرض مؤشرات الأداء والاتجاهات التاريخية.

الأثر التجاري

تحسين توزيع السائقين وزيادة الكفاءة التشغيلية.

اكتشاف أن مانهاتن تمثل 80% من الرحلات.

تسريع المعالجة بنسبة 78% عبر أتمتة خطوط البيانات.

تمكين اتخاذ قرارات تعتمد على البيانات بدقة وموثوقية.