Smart Arabic Medical Consultant(Transformer Model)

التقنيات الأساسية:

Python

نماذج المحولات (Transformers) باستخدام mT5-Small (بنية Encoder-Decoder)

Hugging Face

PyTorch

المعالجة المسبقة للبيانات (Data Preprocessing)

معالجة اللغات الطبيعية (NLP)

أبرز المساهمات والإنجازات:

-طورت مساعدًا ذكيًا للاستشارات الطبية يعتمد على نموذج Sequence-to-Sequence من خلال إعادة تدريب (Fine-Tuning) نموذج mT5-Small باستخدام مكتبة Hugging Face وأداة Seq2SeqTrainer.

-نفذت معالجة مسبقة لمجموعة بيانات طبية ضخمة تضم أسئلة وأجوبة، شملت إنشاء آلية Tokenization مخصصة وتحديد الحد الأقصى لطول التسلسل بـ 512 Token، مما ساهم في منع أخطاء نفاد ذاكرة وحدة معالجة الرسومات (GPU Out-of-Memory) وتحسين كفاءة وسرعة التدريب.

-طبقت استراتيجيات تدريب متقدمة، مثل Gradient Accumulation وجدولة معدل التعلم (Learning Rate Scheduling)، لرفع كفاءة تدريب النموذج وتحقيق أفضل أداء ضمن القيود المحدودة للموارد الحاسوبية.