نظام استخراج بيانات كامل مع عدة وكلاء ذكاء اصطناعي - Multi-Agent Data Extraction System

هندسة النظام:

تصميم وتطوير نظام ذكاء اصطناعي يعتمد على بنية الوكلاء المتعددين Multi-Agent System لتنفيذ مهام بحثية وتحليلية معقدة ومخصصة.

بناء قاعدة بيانات كاملة باستخدام PostgreSQL.

بناء API endpoints لربط النظام مع موقع ويب.

استخدام redis & celery لجعل العمليات تعمل على التوازي لتحقيق اعلى سرعة ممكنة.

غلق بعض سجلات قاعدة البيانات لضمان عدم تداخل العمليات.

Web scraping للحصول على البيانات الغير مكتملة، والتحقق من البيانات الموجودة.

معالجة البيانات: استخراج دقيق للبيانات المهيكلة من المقالات والنصوص باستخدام LLMs، مع دمجها بشكل آلي وفعال مع قواعد البيانات المخزنة مسبقاً.

إثراء المحتوى: بناء آلية ذكية للبحث التلقائي عن المعلومات المفقودة أو غير المكتملة وتحديث السجلات بشكل مستمر.

حل المشكلات المعقدة: التغلب بنجاح على تحديات رداءة البيانات وتناقضها، من خلال أتمتة عمليات التحقق Verification التي يصعب إنجازها عبر التدقيق اليدوي التقليدي.

Tech stack: Langchain, Langgraph, Celery, Redis, PostgreSQL, FastAPI

المشروع خاضع لاتفاقية سرية معلومات NDA، ولا تتوفر روابط معاينة عامة