Bank Marketing: Term Deposit Prediction

مشروع تصنيف ثنائي بيتنبأ إذا كان العميل هيشترك في وديعة لأجل خلال حملة اتصالات هاتفية لبنك برتغالي. المشروع بيقارن عدة نماذج، وبيحدد حد القرار (threshold) بشكل صريح لأن الهدف غير متوازن. ده benchmark تعليمي، مش نظام لاختيار العملاء اللي يتم الاتصال بيهم.

تجهيز البيانات ومنع تسريب البيانات

الداتا: ملف bank-full.csv من UCI: 45,211 صف، و16 متغير تنبؤي بالإضافة للهدف.

التنظيف: حذف المسافات، وتوحيد تسميات yes/no، وحذف التكرارات المتطابقة، وتحويل 52,124 قيمة unknown لقيم مفقودة، بيتم تعويضها جوه كل pipeline تدريب.

الخصائص: 6 خصائص رقمية و9 فئوية متاحة قبل المكالمة. التعويض جوه الـ pipeline، وتوحيد المقياس للنماذج الخطية، وone-hot encoding للفئوية.

استبعاد duration: مدة المكالمة معروفة بعد المكالمة بس، فبتسرّب معلومات في سيناريو التنبؤ قبل المكالمة، فاستبعدتها.

التقسيم: تقسيم طبقي (stratified) 60% تدريب، 20% تحقق، 20% اختبار. مجموعة الاختبار اتحجزت لحد ما اختيار النموذج والـ threshold خلص.

النماذج والاختيار

7 نماذج: النموذج الأساسي (prior-only)، Logistic Regression، SGD (log loss)، Decision Tree، Random Forest، Extra Trees، وHistogram Gradient Boosting بعد الضبط.

الضبط: البحث في 7 تكوينات لـ Histogram Gradient Boosting باستخدام 3-fold cross-validation طبقي على بيانات التدريب.

معيار المقارنة: Average Precision، لأن نسبة الفئة الموجبة 11.7% بس.

اختيار الـ threshold: جاء Histogram Gradient Boosting في المركز الأول على التحقق، واتحدد الـ threshold على مجموعة التحقق بحيث يعظّم الـ F1، وبعدين اتحفظ النموذج والـ threshold مع بعض. واتقيّم على الاختبار مرة واحدة بالـ threshold الثابت ده.

النتائج

على مجموعة الاختبار اللي ماتلمستش قبل كده، عند threshold = 0.62 (اللي اتحدد على التحقق):

المقياس النتيجة

ROC-AUC 0.791

Average Precision 0.451

F1 0.489

للمقارنة، الـ Average Precision للنموذج الأساسي حوالي 0.117. وعند الـ threshold الافتراضي 0.50 كان الـ F1 على الاختبار 0.450 والـ recall 0.609، وده بيوضح الـ trade-off بين الـ precision والـ recall.

Confusion matrix عند threshold 0.62:

متوقع: لا متوقع: نعم

فعليًا: لا 7,344 641

فعليًا: نعم 508 550