تطبيق نموذج المحول Transformer باستخدام مكتبة NumPy فقط

هذا المشروع عبارة عن تطبيق لنموذج المحول Transformer باستخدام مكتبة NumPy ولغة البايثون فقط , تم تقديم نموذج المحول في الورقة العلمية الأكثر تأثيراً بعنوان "Attention is All You Need" من قبل الباحث Vaswani وزملائه . أحدثت نماذج المحولات ثورة في معالجة اللغة الطبيعية (NLP) من خلال تقديم آلية تعتمد على الانتباه, مامكن من تطبيقات جديدة مثل ChatGPT . ولذا يعتبر فهم المحولات وطريقة عملها أساسياً لممارسي تعلم الآلة و الذكاء الإصطناعي.

قمت بتطبيق النموذج يدوياً بدون استخدام مكتبات تعلم الآلة وتدريبه على مهمة تلخيص النصوص وبيانات CNN_DailyMail 3.0.0

والنتيجة و الآداء كانا مرضيين نسبياً, بالرغم من صعوبة المهمة إلا أنني اكتسبت خبرة ممتازة و فهم عميق لنموذج المحول وسأحسن من قدرات النموذج وأقوم بتدريبه على مزيد من المهام مستقبلاً