Code Semantic Search Engine

قمت بتطوير محرك بحث دلالي للكود يتيح للمستخدم فهرسة مشاريع البرمجة الخاصة به والبحث فيها باستخدام استعلامات طبيعية.

يعتمد النظام على بنية Microservices مع استخدام تقنيات مثل Chunking و Embedding وربطها مع خدمات Git لإدارة المستودعات.

تدفق العمل يبدأ بتسجيل المستخدم الدخول عبر GitHub أو لصق رابط عام للمستودع، حيث تقوم خدمة GitHub باستنساخ المستودع محليًا وحفظه على S3، ثم إشعار باقي الخدمات عبر RabbitMQ.

خدمة Chunking تقوم بتقسيم الكود وحفظ البيانات الوصفية لكل جزء، ثم خدمة Embedding تنشئ التمثيلات الرقمية وتخزنها في ChromaDB باستخدام LlamaIndex.

واجهة المستخدم تم تطويرها باستخدام Remix وتوفر تجربة محادثة تفاعلية، حيث يمكن للمستخدم طرح أسئلة على الكود والحصول على إجابات مع إبراز الملفات والأسطر المتعلقة مباشرة بالاستعلام.

تم تصميم النظام ليكون قابل للتوسع ويدعم البحث الدقيق في مشاريع كبيرة ومعقدة بشكل فعال وسريع.