Fine-Tuning نموذج T5Gemma للتلخيص العربي باستخدام LoRA

وصف العمل

قمت بعمل Fine-Tuning لنموذج Google's Gemma-2-270M لمهمة تلخيص النصوص العربية باستخدام تقنية LoRA من مكتبة PEFT — بتدريب 0.75% بس من الـ parameters (~5.9M parameter) على GPU واحدة T4.

الميزات الأساسية للمشروع:

استخدام LoRA/PEFT لتقليل الـ computational cost مع الحفاظ على جودة عالية في المخرجات

تحسين الـ attention modules الأساسية — q_proj وk_proj وv_proj وo_proj — لإنتاج تلخيصات متسقة ودقيقة

تحقيق تحسن +82% في ROUGE-1 وROUGE-L مقارنةً بالـ zero-shot baseline

التحقق من الجودة عبر BERTScore والتقييم البشري

التدريب على dataset عربي synthetic مُنسق خصيصاً للمهمة

الـ Stack المستخدم: PyTorch — HuggingFace — LoRA/PEFT — Google Colab T4 — Python