Web Scraper Tool

1. نوع العمل

برمجية كخدمة (SaaS) جاهزة للإنتاج (Production-ready)، مخصصة لاستخراج البيانات آلياً من المتاجر الإلكترونية لتوليد العملاء المحتملين (Lead Generation). الأداة مصممة للعمل بكفاءة عالية وأداء مستقر لمعالجة كميات ضخمة من البيانات وهيكلتها.

2. ميزات المشروع

التنقل التلقائي بين الصفحات (Multi-Page Crawling): قدرة ذكية على اكتشاف الترقيم (Pagination) والزحف عبر الأقسام الكاملة للمتجر لجمع البيانات، بدلاً من الاكتفاء بصفحة واحدة.

تنظيف ومعالجة البيانات آلياً (Auto-Cleaning Pipeline): تحويل النصوص المعقدة للعملات (مثل £51.77) إلى أرقام عشرية دقيقة (Floats) قابلة للحساب، مع تصفية البيانات من الرموز غير الضرورية.

أداء فائق عبر معالجة الذاكرة (In-Memory Processing): استخدام io.BytesIO لتوليد الملفات مباشرة داخل الذاكرة العشوائية (RAM)، مما يضمن سرعة استجابة عالية وتشغيلاً مستقلاً للسيرفر (Stateless Operation) دون استهلاك مساحة التخزين.

بيئة تشغيل معزولة (Dockerized): المشروع مزود بملف Dockerfile احترافي، مما يجعله جاهزاً للنشر (Deployment) كحاويات على أي مزود خدمات سحابية مثل AWS، Azure، أو Render.

التصدير المباشر لتقارير إكسيل: استخراج البيانات المنظمة وتصديرها بصيغة .xlsx الأصلية لتكون جاهزة للاستخدام الفوري من قبل العميل.

3. طريقة التنفيذ والتقنيات المستخدمة

تم بناء النظام باستخدام معمارية قوية تعتمد على لغة بايثون، وتم تقسيم التنفيذ كالتالي:

تطوير النواة (Core): استخدام Python 3.11 مع إطار عمل Flask لبناء واجهة خلفية (Backend) سريعة وموثوقة.

استخراج الويب (Scraping): دمج مكتبتي BeautifulSoup4 و Requests لجلب وتحليل كود الـ HTML الخاص بالمتاجر بكفاءة ودقة.

تحليل البيانات (Data Processing): الاعتماد على مكتبات علوم البيانات Pandas و NumPy لهيكلة وتنظيف البيانات المستخرجة قبل تصديرها.

البنية التحتية والاستضافة (Infrastructure): تغليف التطبيق بالكامل باستخدام Docker، مع إعداد خادم Gunicorn للتعامل مع طلبات الإنتاج، مما يجعله جاهزاً للاستضافة على بيئات مثل PythonAnywhere أو السيرفرات السحابية.