Distributed Web Crawler and Indexer

نظام سحابي متقدم مصمم لجمع بيانات الويب الضخمة (Web Scraping) وفهرستها في محرك بحث فوري فائق السرعة، مع ضمان استمرارية العمل بنسبة 100% دون أي توقف أو فقدان للبيانات.

ما يقدمه المشروع للعميل (أهم الميزات العملية):

جمع بيانات ذكي وموسع: سحب آلاف الصفحات بالتوازي وبسرعة فائقة، مع احترام معايير المواقع وتفادي الحظر وفلترة الروابط تلقائياً.

محرك بحث فوري دقيق: واجهة بحث شبيهة بمحرك Google تعتمد على Elasticsearch لاسترجاع النتائج وإبراز النصوص المطلوبة (Highlighted Snippets) في أجزاء من الثانية.

متابعة حية للعمليات (Real-Time): إمكانية متابعة نسبة إنجاز المهام لحظة بلحظة عبر واجهة تفاعلية مدعومة بـ WebSockets.

نظام ذاتي التعافي (Self-Healing): في حال حدوث أي عطل مفاجئ في أي خادم، يقوم النظام تلقائياً وبشكل ذاتي بنقل المهمة لخادم آخر دون أي تدخل يدوي ودون ضياع أي بيانات.

☁️ البنية السحابية والمراقبة (Cloud & DevOps):

AWS Cloud: تشغيل الخوادم على AWS EC2، مع إدارة آمنة ومنظمة لطوابير المهام عبر Amazon SQS FIFO لضمان عدم تكرار البيانات وسرعة المعالجة.

الحاويات وإدارة البنية (Docker & Kubernetes): بنية معمارية مجهزة على Kubernetes وDocker تضمن التوسع التلقائي (Auto-scaling) مع ازدياد حجم البيانات، والعمل بأقل تكلفة تشغيلية.

مراقبة حية واستباقية (Prometheus & Grafana): لوحات تحكم متكاملة تتابع استهلاك الموارد، سرعة الاستجابة، وصحة الخوادم لحظياً لاكتشاف أي خلل وحله استباقياً.