Web Scraper

**Web Scraper – نظام ذكي لاستخراج الأخبار وإرسالها إلى تيليجرام**

طورت نظام **Web Scraper** باستخدام **Node.js** و**Express.js** لأتمتة عملية استخراج الأخبار والمقالات من مواقع الويب وإرسالها مباشرة إلى قنوات أو مجموعات **Telegram** عبر Telegram Bot API.

يعتمد النظام على مكتبة **Cheerio** لتحليل صفحات الويب واستخراج البيانات المطلوبة مثل عنوان الخبر، تاريخ النشر، والرابط، مع دعم التنقل بين الصفحات (Pagination) واكتشاف روابط "التالي" حتى في المواقع العربية.

كما يتضمن النظام آلية لمنع تكرار الأخبار، وإرسالها إلى تيليجرام مع إمكانية التحكم بزمن الإرسال لتجنب قيود Telegram، بالإضافة إلى إعدادات مرنة عبر ملفات البيئة (Environment Variables) للتحكم في المهلات الزمنية، وعدد الصفحات المراد فحصها، وبيانات الاتصال.

**أبرز المميزات:**

* استخراج الأخبار والمقالات من مواقع الويب بشكل آلي.

* دعم التنقل بين عدة صفحات واستخراج جميع النتائج.

* منع تكرار الأخبار باستخدام الرابط أو العنوان وتاريخ النشر.

* إرسال النتائج مباشرة إلى Telegram Bot مع التحكم في معدل الإرسال.

* REST API مبنية باستخدام Express.js مع استجابات JSON موحدة.

* معالجة مركزية للأخطاء والتحقق من الإعدادات قبل التشغيل.

* بنية مشروع منظمة وقابلة للتطوير والاختبار والصيانة.

**التقنيات المستخدمة:**

Node.js، Express.js، Cheerio، Axios، Telegram Bot API، Dotenv، Nodemon، ESLint، Prettier.