Tmana AI Assistent

خلال الفترة الماضية اشتغلت على واحد من أكثر المشاريع التي علمتني معنى بناء نظام ذكاء اصطناعي جاهز لـ Production، وليس مجرد نموذج أولي.

مشروع (تمنى- Tmana) عبارة عن منصة AI تضم مجموعة من البوتات (بوت لكل جامعة) لمساعدة طلاب الجامعات السعودية في الرد على استفسارتهم.

✔الفكرة تبدو بسيطة: الطالب يسأل، والنظام يجيبه من مصادر موثوقة. لكن التحدي الحقيقي كان بناء نظام يعرف:

✦ هل السؤال يحتاج إلى بحث؟

✦ ما المصدر الأنسب؟

✦ هل المعلومة حديثة؟

✦ هل الإجابة مدعومة بالمصادر؟

✦ كم تكلفة الطلب؟

✦ وأين حدث البطء أو الخطأ؟

✔لذلك ركزت على Evaluation وObservability، وبنيت تتبعًا لكل سؤال من لحظة دخوله إلى البوت وحتى وصول الإجابة، يشمل:

✦ زمن كل خدمة، عدد المصادر، استهلاك tokens، تكلفة كل مستخدم، الأخطاء، والمرحلة التي سببت ضعف النتيجة أو تأخرها.

✦ وهنا تعلمت أن Observability في أنظمة الذكاء الاصطناعي ليست رفاهية، بل جزء أساسي من أي نظام يعمل في Production.

✔من أهم التحديات أيضًا كان تحديث المعرفة باستمرار. البيانات الجامعية تتغير، وتظهر يوميًا مواعيد وشروط وتجارب جديدة، لذلك قسمت المعرفة إلى عدة طبقات:

⓵ University RAG للمعرفة الخاصة بكل جامعة.

⓶ Tmana RAG للمعلومات الموثوقة التي يضيفها فريق التشغيل عند وجود نقص في البيانات.

③ Live Search للبحث المباشر داخل نقاشات الطلاب.

⓸ Web Search للمصادر الرسمية والمعلومات الحديثة.

✔إضافة Tmana RAG كانت قرارًا مهمًا، لأن مشاريع RAG الواقعية تحتاج إلى طريقة سريعة لإضافة المعرفة الجديدة وفهرستها دون إعادة بناء النظام بالكامل.

✔كما أضفت Web Search للأسئلة المرتبطة بالمواعيد، القبول، التحويل والقرارات الرسمية، ليتمكن النظام من دمج المصادر الرسمية مع المعرفة الداخلية وتجارب الطلاب.

✔ومن ناحية Agents، صممت عدة وكلاء لدعم جودة النظام، منها:

⓵ Answer Quality Agent لمراجعة الإجابة مقابل المصادر.

⓶ Conflict Detection Agent لاكتشاف التعارض بين المعلومات القديمة والحديثة.

③ Source Freshness Agent لمراقبة حداثة المعرفة.

⓸ Incident Response Agent لمتابعة الأخطاء وبطء الخدمات.

⓸ Subscription Agent لتحليل الاستخدام المجاني والمدفوع وتحسين تجربة الاشتراك.

الفكرة أن النظام لا يكتفي بالإجابة، بل يراقب أداءه، يقيم نتائجه، ويكشف نقاط الضعف.

✔كذلك بنيت نظامًا لحساب تكلفة كل مستخدم، يشمل:

LLM tokens، Embedding tokens، Web Search calls وTool usage و Agent Usage.

قياس التكلفة ضروري لأي منتج AI حقيقي، لأن جودة الإجابة وحدها لا تكفي إذا لم تكن التكلفة قابلة للمراقبة والتحكم.

ومن ناحية المنتج، صممت حدًا مجانيًا يتيح للطالب تجربة القيمة الحقيقية، ثم يعرض الاشتراك بطريقة واضحة بدلًا من إيقاف الخدمة بشكل مفاجئ.

✔أما معماريًا، فكان التحول الأهم هو فصل المشروع إلى خدمات مستقلة:

⓵ RAG Search Service

⓶ Live Search Service

⓷ Web Search Service

⓸ Agent Service

⓹ Dashboard

⓺ Bot Workers

☀ أكثر ما تعلمته من المشروع أن نجاح تطبيقات LLM لا يعتمد فقط على اختيار موديل قوي، بل على جودة البيانات، تصميم الاسترجاع، تحديث المعرفة، تقييم النتائج، مراقبة التكلفة، تتبع الأخطاء، وبناء معمارية قابلة للتوسع.

☀ كانت تجربة عميقة في تحويل RAG من فكرة تقنية إلى نظام حقيقي يعمل في بيئة Production ويخدم مستخدمين فعليين ومازال التحديث والتطوير مستمرا