بناء محرك بحث متقدم لتطبيق كتب

أرغب في تطوير محرك بحث عالي الأداء ومتكامل للعمل داخل تطبيق كتب مبني بلغة Dart، بحيث يتم بناء المحرك نفسه بلغة Rust أو C داخل SQLite كقاعدة بيانات للفهرسة والتخزين.

المواصفات المطلوبة:

ميزات البحث:

دعم البحث الغامض (Fuzzy Search) مع إمكانية وجود خطأ واحد فقط في الكلمة.

دعم البحث المطابق (Exact Match).

دعم البحث الصرفي (Morphological Search) بالاعتماد على قاعدة بيانات للجذور موجودة مسبقًا.

دعم عمليات البحث المنطقية:

EXACT, AND, OR, NOT, NEAR/5.

دعم الرموز الخاصة:

النجمة * لتمثيل سلسلة من الحروف (في بداية أو وسط أو نهاية الكلمة).

علامة الاستفهام ? لتمثيل حرف واحد في أي موضع.

️ معالجة اللغة العربية:

دعم الحساسية للهمزات (ء، أ، إ، ئ، ؤ) والتاء المربوطة.

دعم حساسية التشكيل بخيارين:

1. حساسية جزئية: إذا كان الحرف مشكولًا، يجب مطابقته بنفس التشكيل.

2. حساسية كلية: مطابقة دقيقة لكل الحركات.

إمكانية تفعيل أو تعطيل حساسية التشكيل والهمزات حسب إعدادات المستخدم.

️ خيارات البحث المتقدمة:

الترتيب حسب:

مدى القرب من الاستعلام (relevance).

اسم الكتاب أو اسم المؤلف أو اسم القسم (تصاعديًا أو تنازليًا).

تصفية قبل البحث:

البحث في كل الكتب أو كتب محددة أو لمؤلفين أو أقسام معينة.

تحديد نطاق البحث: في المتن، الحاشية، أو كلاهما.

الأداء والكفاءة:

سرعة عالية في:

بناء الفهرس.

تحديثه.

الحذف.

تنفيذ الاستعلامات (زمن الاستجابة ≤ 0.25 ثانية).

حجم الفهرس صغير نسبيًا.

البيانات:

عدد الكتب: ~486 كتاب.

عدد الصفحات: ~300 ألف صفحة.

عدد الكلمات: ~75 مليون كلمة.

الكلمات الفريدة قبل التطبيع: ~2.8 مليون.

الكلمات الفريدة بعد التطبيع: ~800 ألف.

? آلية الفهرسة:

يعتمد الفهرس على الكلمة المُطبّعة مع تخزين الجذر المشتق من قاعدة بيانات الجذور.

الاحتفاظ بالكلمة الأصلية لدعم الحساسية في البحث.

عدم تخزين النصوص الأصلية داخل الفهرس، بل فقط معرفات المواقع، ليتم لاحقًا جلب النصوص من مصادرها.

ضرورة إرجاع مواقع الكلمات في النص الخام لتسهيل تمييز النتائج داخل التطبيق.

الدمج مع Dart:

بعد الانتهاء من بناء المحرك، يتم تغليفه كمكتبة (Package) يمكن استدعاؤها واستخدامها بسهولة داخل تطبيق Dart / Flutter.

ملاحظات إضافية:

توجد بعض الدوال الخاصة بمعالجة النصوص سيتم تزويد المطور بها بعد الاتفاق.

الأولوية للأداء، الحجم الصغير، والدقة العالية في النتائج.