Adaptive Synthetic Data Augmentation Toolkit

نظرة عامة:

تُعدّ مجموعة أدوات زيادة البيانات الاصطناعية التكيفية — المعروفة بـ AugmentIQ — مشروعاً متقدماً في بنية التعلم الآلي التحتية، يواجه عائقاً جوهرياً وعميق التأثير في التطبيقات العملية لهذا المجال: شُح البيانات الفعلية واختلال توازن الفئات الحاد الذي يُميِّز مجموعات البيانات الجدولية في أشد المجالات أهمية. في الرعاية الصحية، قد لا يمثل المرض النادر سوى خمسة بالمئة من سجلات المرضى. في كشف الاحتيال المالي، قد تقل نسبة المعاملات الاحتيالية عن واحد بالمئة من الحجم الإجمالي. في الصيانة التنبؤية الصناعية، تبقى حالات فشل الآلات نادرة بطبيعتها. وفي كل سيناريو من هذه السيناريوهات، يتعلم المصنِّف التقليدي تجاهل فئة الأقلية كلياً — لأن تجاهلها يُحقِّق مكافأة إحصائية فورية في حين يُفضي إلى كوارث عملية لا تُحصى.

أساليب التخفيف المعتادة — تطبيق SMOTE على عينات الأقلية بشكل موحد وضبط أوزان الفئات وتعديل عتبات القرار — تتعامل مع مشكلة الزيادة باعتبارها تصحيحاً ثابتاً وآنياً. لا تسأل هذه الأساليب عمّا تعلّمه النموذج فعلاً، ولا أين يفشل حالياً، ولا إذا كانت البيانات الاصطناعية المُولَّدة تُعالج المصادر الفعلية للأخطاء. يقوم AugmentIQ على فرضية مختلفة جذرياً: ينبغي أن تكون الزيادة تكيفيةً ومستهدفةً ومدفوعةً بالتغذية الراجعة.

المشكلة التي يحلّها:

يُعدّ اختلال توازن الفئات آفةً متفشية. يُبلِّغ نموذج كشف الاحتيال المدرَّب على 99% من المعاملات المشروعة عن دقة 99% بينما يفشل في كل حالة احتيال فعلية. يُخطئ المصنِّف السريري المدرَّب على 95% من النتائج السلبية في التعرف على 5% من المرضى الأكثر احتياجاً للرعاية. هذه الإخفاقات ليست عشوائية؛ إنها منهجية وقابلة للتنبؤ، وهي كلياً نتيجة بيانات تدريب مختلة التوازن مع دوال خسارة تُكافئ الفئة الغالبة بشكل غير متناسب.

البنية التقنية:

يتألف النظام من سبع وحدات Python لكل منها مسؤولية محددة بدقة وحدود واجهة واضحة.

يُولِّد محمّل البيانات مجموعة بيانات اصطناعية واقعية شبيهة بالرعاية الصحية مع نسب اختلال قابلة للتهيئة تتراوح بين خمسة وأربعين بالمئة. يُنفِّذ خط معالجة كامل: استيفاء الوسيط على مستوى الفئة للقيم المفقودة، والترميز بالتسمية، والتوحيد بالمعيارية، والتقسيم الطبقي 80-20 الذي يحفظ توزيع الفئة الأصلي في كلا الجزأين.

تُنفِّذ وحدة خط الأنابيب الأساسي مصنِّفاً قابلاً للتهيئة وتحسب مجموعة شاملة من المقاييس: الدقة الإجمالية، وF1 المرجَّح والكلي، وROC-AUC، والاسترجاع والدقة، ومصفوفة الالتباس الكاملة، وتوزيع كل فئة بالتفصيل.

يُجري محلل الأخطاء تحليلاً منهجياً لأخطاء كل فئة على مجموعة التدريب مباشرةً، ويُحدِّد الفئات التي تتجاوز نسبة خطئها 30% كأهداف أولية للزيادة. ويحسب إضافةً إلى ذلك متوسط الانحراف المطلق للميزات بين العينات المصنَّفة خاطئاً والمصنَّفة صحيحاً — مما يكشف أي الميزات ترتبط بشكل أقوى بإخفاقات النموذج.

يُنفِّذ المولّد الاصطناعي ثلاث استراتيجيات توليد مع تراجع تلقائي سلس. ينفِّذ SMOTE استيفاءً خطياً في فضاء الميزات بين عينات فئة الأقلية الفعلية. تُطبِّق زيادة الضوضاء الغاوسية اضطراباً عشوائياً محكوماً على العينات الفعلية وتتوفر دائماً دون تبعيات إضافية. تُناسب طريقة مقياس كوبولا الغاوسي عبر SDV نموذجاً إحصائياً متعدد المتغيرات على فئة الأقلية، تستوعب البنية المشتركة بين جميع الميزات وتُولِّد عينات اصطناعية لا تختلف إحصائياً عن البيانات الفعلية في التوزيع.

تُمثِّل وحدة حلقة التغذية الراجعة المحرك التنسيقي في قلب النظام. في كل تكرار تُجري تحليل الأخطاء على النموذج الحالي، وتحسب أهداف الزيادة، وتستدعي المولِّد الاصطناعي، وتُعيد تدريب المصنِّف على مجموعة البيانات الموسَّعة، وتُقيِّم على مجموعة الاختبار غير المُعدَّلة، وتُقارن الأداء بأفضل نتيجة سابقة. إذا انخفض تحسن F1 الكلي عبر تكرارات متتالية دون عتبة قابلة للتهيئة، تُفعِّل الحلقة التوقف المبكر وتُعيد أفضل نموذج عُثر عليه.

الإسهامات التقنية الرئيسية:

أبرز إسهام هندسي هو مبدأ الاستهداف المدفوع بالخطأ. بدلاً من تطبيق التوليد الاصطناعي بشكل موحد على جميع عينات الأقلية، يُخصِّص النظام موارد التوليد بما يتناسب مع الموضع الذي يفشل فيه النموذج فعلياً. التسلسل الهرمي متعدد الاستراتيجيات مع التراجع التلقائي يضمن تشغيل النظام دائماً بأعلى جودة إحصائية متاحة في بيئة النشر دون تهيئة يدوية. آلية التوقف المبكر المُدركة للاستقرار حيوية للتطبيق الإنتاجي، إذ تحمي تلقائياً من الإفراط في التخصيص للبيانات الاصطناعية الذي قد يتعلم معه النموذج بصماتها الإحصائية عوضاً عن الأنماط القابلة للتعميم.

معايير النجاح والأثر المتوقع:

يتمثل معيار النجاح الرسمي للمشروع في تحقيق تحسن لا يقل عن 10% في مقياس F1 الكلي على مجموعة الاختبار المحجوزة مقارنةً بالأساس غير المُعزَّز. يُتحقَّق من هذه العتبة باتساق في غضون ثلاث إلى خمس دورات تغذية راجعة على الإعداد الافتراضي بنسبة أقلية 10%.

ما وراء رقم الأداء الرئيسي، يُحقِّق النظام تحسناً ذا معنى في استرجاع فئة الأقلية — وهو المقياس الأكثر أهمية في الرعاية الصحية وكشف الاحتيال حيث يحمل السلب الكاذب عواقب لا يستطيع أي إحصاء دقة الإفصاح عنها. ويُقدِّم سجل تدقيق كامل للزيادة: تُسجَّل مقاييس كل تكرار ومعدلات الأخطاء وأهداف التوليد وأعداد العينات الاصطناعية وتُرسم بيانياً وتُتاح للمراجعة — مما يمنح الممارسين شفافية كاملة حول كيفية تحسن النموذج ولماذا. ويُقدِّم مجموعة أدوات قابلة لإعادة الاستخدام والتوثيق الجيد يمكن تطبيقها بأدنى قدر من التهيئة على أي مشكلة تصنيف جدولي ثنائي أو متعدد الفئات مع اختلال التوازن.