News Analyzer Platform

Arabic News Analyzer Platform | منصة ذكية لتحليل الأخبار العربية باستخدام الذكاء الاصطناعي

وصف المشروع

قمت بتطوير منصة ذكاء اصطناعي لتحليل الأخبار العربية واستخراج المعلومات الأساسية منها تلقائيًا باستخدام النماذج اللغوية الكبيرة (LLMs) وتقنيات معالجة اللغة الطبيعية (NLP).

تعتمد المنصة على نموذج لغوي مفتوح المصدر Qwen2.5-1.5B-Instruct، تم تحسينه باستخدام تقنية LoRA Fine-tuning والتقطير المعرفي (Knowledge Distillation) بالاستفادة من مخرجات GPT-4o-mini، بهدف تقديم نتائج منظمة بجودة جيدة مع تقليل الاعتماد على خدمات الذكاء الاصطناعي المدفوعة أثناء الاستدلال.

أهم مميزات المشروع

- تحليل الأخبار العربية: استخراج عنوان الخبر وملخصه والكلمات المفتاحية والكيانات المهمة والتصنيفات.

- استخراج البيانات المنظمة: تحويل محتوى الأخبار إلى مخرجات JSON منظمة يسهل استخدامها في التطبيقات الأخرى.

- الترجمة متعددة اللغات: دعم ترجمة محتوى الأخبار ضمن سير عمل التحليل.

- تخصيص النماذج اللغوية: تدريب نموذج مفتوح المصدر باستخدام LoRA وبيانات اصطناعية تم إنشاؤها بمساعدة GPT-4o-mini.

- نشر النموذج وتحسين الأداء: استخدام vLLM لتسريع الاستدلال، مع تحقيق زيادة تقارب 25 ضعفًا في معدل معالجة الرموز مقارنةً باستدلال Transformers التقليدي في الاختبار المستخدم.

- تطوير واجهة برمجية وتطبيق تفاعلي: بناء Backend باستخدام FastAPI وواجهة باستخدام Streamlit.

- اختبار الأداء: إجراء اختبارات تحميل باستخدام Locust لمحاكاة 20 مستخدمًا متزامنًا.

- التقنيات المستخدمة

Python, Qwen2.5-1.5B-Instruct, Hugging Face Transformers, LoRA, Knowledge Distillation, LLaMA-Factory, vLLM, FastAPI, Streamlit, Pydantic, Locust, Weights & Biases.

القيمة التي يقدمها المشروع

يساعد هذا الحل على تقليل الوقت والجهد اللازمين لتحليل كميات كبيرة من الأخبار، وتحويل النصوص غير المنظمة إلى بيانات قابلة للبحث والتحليل والتكامل مع الأنظمة الأخرى. كما يوضح إمكانية بناء حلول ذكاء اصطناعي مخصصة باستخدام نماذج مفتوحة المصدر، مع تحسين سرعة الاستدلال وتقليل الاعتماد على واجهات النماذج المدفوعة.

المهارات التي يعكسها المشروع: تطوير تطبيقات الذكاء الاصطناعي، وLLM Fine-tuning، وArabic NLP، وتحسين أداء النماذج، وتطوير REST APIs، واختبار قابلية التوسع.