إنشاء مجموعة بيانات مصممة لاختبار قدرات نماذج الذكاء الاصطناعي التوليدية

الدافع/الخلفية

لقد أظهرت نماذج اللغة الكبيرة التوليدية (LLMs)، مثل ChatGPT، مؤخرًا أداءً استثنائيًا عبر مجموعة متنوعة من مهام معالجة اللغة الطبيعية (NLP) التقليدية، مع اقتراب بعضها من مستوى الأداء البشري. ونتيجة لذلك، أصبح تقييم وفهم سلوك هذه النماذج أمرًا مهمًا بشكل متزايد، خاصة عند مقارنة سلوك الذكاء الاصطناعي بالسلوك البشري - وهي مهمة ناشئة بشكل خاص وستكون أكثر أهمية عند تطوير نماذج لغة كبيرة أكثر تقدمًا.

المهمة

هدف هذا المشروع هو إنشاء مجموعة بيانات مصممة لاختبار قدرات نماذج الذكاء الاصطناعي التوليدية (LLMs) في اتخاذ القرارات. على وجه التحديد، سيفحص المشروع مدى قدرة هذه النماذج على فهم وتطبيق النماذج الذهنية المختلفة لاتخاذ القرارات في سيناريوهات متنوعة. سيتضمن المشروع اختبار مجموعة البيانات التي تم إنشاؤها وتقييم أداء نموذج ذكاء اصطناعي توليدي واحد على الأقل.

الخلفية

النموذج الذهني هو إطار يساعد في فهم سلوكيات معينة في العالم. في هذا المشروع، سيتم إنشاء مطالبات (prompts) بمستويات مختلفة من التعقيد، إلى جانب الإجابات المقابلة، لاستكشاف ما إذا كانت نماذج الذكاء الاصطناعي تستخدم النماذج الذهنية في سيناريوهات اتخاذ القرار، وكيف تفعل ذلك.

على سبيل المثال، لدراسة نموذج موس أوكام (Occam’s Razor)، يمكن تصميم سؤال بسيط مثل:

“تعطلَت السيارة في منتصف الطريق. ماذا يجب أن أفعل؟

أ) ربما اصطدمت بها نيزك، لذا يجب أن أتصل بالقوات الفضائية.

ب) على الأرجح نفد الوقود، لذا يجب أن أتحقق من مستوى الوقود.”

وفقًا لنموذج موس أوكام، فإن التفسير الأبسط هو الأرجح، لذا فإن الاختيار الصحيح هو ب.

يمكن أيضًا تصميم نسخة أكثر تعقيدًا من السؤال على النحو التالي:

“تعطلَت السيارة في منتصف الطريق. ماذا يجب أن أفعل؟”

إذا اقترح نموذج الذكاء الاصطناعي التحقق من البطارية (وهي واحدة من أكثر المشكلات شيوعًا في السيارات)، فسيشير ذلك إلى أن النموذج يطبق مبدأ موس أوكام.

الأهداف

•إنشاء مجموعة بيانات يدوية (قائمة من الأسئلة مع مشكلات في اتخاذ القرار وإجابات محتملة) لتقييم أداء نماذج الذكاء الاصطناعي التوليدية.

•تطوير أمثلة متعددة لكل نموذج ذهني، مع اختلاف مستويات التعقيد والخلفيات السياقية.

•استخدام مجموعة البيانات لاختبار وتقييم أداء نموذج ذكاء اصطناعي توليدي واحد على الأقل.

•إجراء دراسة مقارنة بين أداء البشر وأداء نموذج الذكاء الاصطناعي عند التعامل مع هذه الأسئلة.

•اختياريًا، يمكن تدريب أو توجيه نماذج الذكاء الاصطناعي والمشاركين البشريين حول كيفية استخدام النماذج الذهنية، ثم دراسة أي تحسينات ناتجة في الأداء

Qualifications

• Python programming

• Machine learning basics

• Data and text processing

References

[1] https://fs.blog/mental-mo...