Fine-Tuning نماذج SLM & LLMs باستخدام RAG ول Q&A TASKS

قمنا بضبط نموذج لغة (LLM) من Hugging Face (مثل Llama 3.3 و QWEN 2.5) ليعمل بنظام RAG (Retrieval-Augmented Generation) مع إمكانية الإجابة على الأسئلة (Q&A) في مجال متخصص.

تفاصيل العمل:

البيانات المستخدمة:

مجموعة بيانات مخصصة (Custom Dataset) في مجال العلوم الشرعية وباللغة العربية.

تم تنظيف البيانات وتحسينها لتناسب المهمة.

- التدريب (Fine-Tuning):

استخدام LoRA أو QLoRA لتحسين الأداء مع تقليل استخدام الموارد.

تدريب النموذج على فهم السياق واسترجاع المعلومات بدقة.

- نظام RAG:

تكامل النموذج مع قاعدة معارف (Knowledge Base) باستخدام:

FAISS أو Pinecone للبحث السريع عن المعلومات.

LangChain لإدارة سلسلة العمليات.

النموذج يجيب على الأسئلة بناءً على أحدث المعلومات من قاعدة البيانات (ليس فقط الاعتماد على المعرفة المضمنة فيه).

- وظيفة Q&A:

النموذج يفهم الأسئلة ويقدم إجابات دقيقة مع استشهادات من المصادر.

يدعم اللغات المتعددة Multilangual.