A/B testing for an e-commerce website

مشروع تحليل بيانات واختبار A/B لشركة التجارة الإلكترونية GloBox، بهدف تحديد ما إذا كان من الأفضل إطلاق تصميم الصفحة الرئيسية الجديد لجميع المستخدمين أم الإبقاء على التصميم الحالي.

كانت المشكلة التجارية تتمثل في رغبة الشركة في زيادة الوعي بفئة الأغذية والمشروبات ورفع المبيعات من خلال إضافة Banner ترويجي في أعلى الصفحة الرئيسية. بدل اتخاذ القرار بناءً على الافتراضات، تم تصميم تجربة A/B لمقارنة أداء التصميم الحالي مع التصميم الجديد وقياس تأثيره الفعلي على سلوك المستخدمين.

تم تقسيم مستخدمي الموقع بشكل عشوائي إلى مجموعتين: مجموعة التحكم التي شاهدت الصفحة الرئيسية الأصلية، ومجموعة الاختبار التي شاهدت الصفحة الجديدة مع الـBanner الترويجي. ركزت التجربة على مستخدمي الموقع عبر الهاتف المحمول، وتم اعتبار المستخدم محولًا (Converted) عند إتمام عملية شراء.

بدأ التحليل باستخراج وتجميع بيانات المستخدمين باستخدام SQL، ثم تنظيم البيانات وتحليلها بصريًا باستخدام Tableau. بعد ذلك تم تحليل نتائج التجربة إحصائيًا باستخدام Python وStatsmodels للتحقق مما إذا كانت الفروقات بين المجموعتين ذات دلالة إحصائية وليست مجرد نتيجة للصدفة.

تم التركيز على مؤشرين رئيسيين للأداء:

- معدل التحويل (Conversion Rate): نسبة المستخدمين الذين أجروا عملية شراء.

- متوسط الإنفاق لكل مستخدم (Average Spend per User): متوسط قيمة المشتريات لكل مستخدم.

أظهرت النتائج أن مجموعة الاختبار حققت معدل تحويل أعلى من مجموعة التحكم، ما يشير إلى أن الـBanner الجديد كان له تأثير واضح على سلوك المستخدمين. ولكن في المقابل، لم يظهر متوسط الإنفاق لكل مستخدم تغيرًا ذا دلالة إحصائية.

ومن منظور تجاري، أدى ذلك إلى استنتاج مهم: زيادة التفاعل ومعدل التحويل لم تكن مصحوبة بزيادة واضحة في قيمة الإنفاق لكل مستخدم. وقد يشير ذلك إلى أن المستخدمين اتجهوا بشكل أكبر نحو شراء منتجات الأغذية والمشروبات الأقل سعرًا بدلًا من زيادة إنفاقهم الإجمالي على منتجات GloBox.

بناءً على هذه النتائج، لم تكن التوصية هي إطلاق التصميم الجديد لجميع المستخدمين مباشرة. بدلًا من ذلك، تم اقتراح إجراء تحليل إضافي لأنواع المنتجات التي تم شراؤها في كل مجموعة لفهم تأثير الـBanner على Product Mix والتأكد من أن زيادة الاهتمام بفئة الأغذية والمشروبات تتوافق فعلًا مع أهداف الشركة المتعلقة بالإيرادات.

يمثل المشروع دورة تحليل كاملة تبدأ من تحديد سؤال تجاري واضح، مرورًا باستخراج البيانات وتنظيفها، وتحليل مؤشرات الأداء، واستخدام الاختبارات الإحصائية، وصولًا إلى تحويل النتائج إلى توصية قابلة للاستخدام في اتخاذ القرار.

الأدوات والتقنيات المستخدمة:

SQL، Python، Pandas، Statsmodels، Tableau، A/B Testing، Statistical Significance، Data Visualization، وData-Driven Decision Making.