تصميم محرك بحث

قمت بتصميم وتطوير محرك بحث متكامل باستخدام تقنيات Python + Flask + PostgreSQL، مع دمج Web Crawler متعدد الخيوط لجمع البيانات من المواقع.

المكونات الرئيسية:

Web Crawler:

مكتوب بلغة Python.

يستخدم Multithreading لتسريع عملية جمع البيانات من مئات الروابط.

استخراج العناوين، المحتوى، والروابط الجديدة للتوسع في الفهرسة.

قاعدة البيانات (PostgreSQL/SQLite في النسخة الأولى):

تخزين الصفحات التي تم جمعها.

تخزين الكلمات المفهرسة مع مواقعها داخل النصوص.

تصميم جداول مرنة تدعم عمليات البحث السريع.

الفهرسة (Indexing):

تحليل المحتوى النصي للصفحات.

تقسيم النصوص إلى كلمات (Tokenization).

تخزين تكرار الكلمات ومواقعها لتحسين النتائج.

واجهة البحث (Flask App):

صفحة بحث شبيهة بـ Google بسيطة وسهلة الاستخدام.

المستخدم يكتب الكلمة أو الجملة → النظام يسترجع الصفحات المرتبطة.

عرض النتائج مرتبة حسب الصلة (Relevance).

الأهداف والإنجازات:

بناء نظام شبيه بمحركات البحث الكبيرة لكن بموارد محدودة.

تعلمت من خلاله مفاهيم: Web Crawling – Indexing – Information Retrieval – Databases – Flask Web Development.

يعتبر نواة لتطوير محرك بحث أوسع في المستقبل.