END-TO-END Machine learning on titanic DataSet

في هذا المشروع قمت ببناء نموذج تنبؤي يعتمد على البيانات التاريخية لركاب سفينة تايتانيك بغرض تقدير احتمالية نجاة كل راكب.

بدأت بتحليل واستكشاف البيانات، حيث تعرفنا على بنية الجدول ومتغيراته الأساسية مثل الفئة العمرية ودرجة المقصورة والجنس وعدد الأشخاص المرافقين والركاب ذوي الحالة الاجتماعية المختلفة. تعاملنا مع القيم المفقودة من خلال تعويضها بأساليب إحصائية مناسبة وضمان اتساق البيانات قبل الانتقال لمرحلة الهندسة الميزاتية.

في خطوة الهندسة الميزاتية أضفت خصائص جديدة مثل حجم العائلة، ومعدل الأجرة لكل فرد، واستخرجنا عناوين الركاب (مثل السيد والسيدة)، بالإضافة إلى تقسيم الأجرة إلى فئات ربع سنية. هذه الميزات ساعدت النماذج على التقاط العلاقات الخفية بين ظروف الركاب وفرص نجاتهم.

بعد ذلك قمت بتجريب عدة خوارزميات تصنيفية متقدمة مثل غابة القرار العشوائية، وآلة الدعم الناقل ذات النواة الراديوية، وإكس جي بوست، بالإضافة إلى تجميعها في نموذج تصويتي هجين؛ وذلك لاستخدام نقاط قوة كل نموذج وتحسين الدقة العامة. أظهر نموذج إكس جي بوست المحسن أعلى دقة اختبار بلغت حوالي 84%، فيما حقق التجميع التصويتي أفضل تمييز بالمساحة تحت منحنى ROC حيث تجاوز 0.88.

ختاماً يمكن القول إن اتباع منهجية شاملة تضمنت استكشاف البيانات، وتنظيفها، وتطوير ميزات ذات مغزى، وضبط المعلمات بهدوء، ودمج النماذج، أسهم في بناء نظام قوي لتوقع النجاة. يوصى في الأعمال المستقبلية بالتركيز على تحسين الهندسة الميزاتية بإضافة تفاعلات أعمق بين المتغيرات، واستكشاف خوارزميات مبتكرة مثل التحسين البايزي والهندسة المكدسة، لتجاوز حدود الدقة الحالية والتأكد من استقرار التوقعات عبر مجموعات بيانات جديدة.