بوت لاستخراج البيانات من موقع حراج

عنوان المشروع: بوت مكتبي متقدم لاستخراج بيانات الإعلانات من موقع حراج

نبذة عن المشروع:

تطوير برنامج مكتبي (بوت) يعمل على نظام ويندوز، قادر على استخراج بيانات الإعلانات بشكل دقيق من موقع حراج بناءً على فلاتر بحث محددة، مع تصدير النتائج النهائية إلى ملف إكسل منسق وجاهز للتحليل.

المهام التي تم تنفيذها:

تجاوز أنظمة الحماية المتقدمة: تم برمجة البوت لتجاوز أنظمة الحماية (Anti-Bot) التي يستخدمها موقع حراج عبر محاكاة سلوك المستخدم البشري باستخدام تقنيات Selenium-Stealth.

تسجيل الدخول التلقائي: تمكين البوت من تسجيل الدخول لحساب المستخدم للوصول إلى البيانات المحمية، مثل أرقام الهواتف التي تتطلب عضوية مسجلة.

التعامل مع التحميل اللانهائي (Infinite Scroll): برمجة البوت ليقوم بالنزول لأسفل الصفحة بشكل متكرر لجلب أكبر عدد ممكن من الإعلانات بدلاً من الاعتماد على نظام الصفحات التقليدي.

استخراج ذكي للبيانات: تطوير خوارزمية مرنة لاستخراج أرقام الهواتف من نصوص الإعلانات باستخدام التعبيرات النمطية (Regex)، والتعامل مع الصيغ المختلفة التي يكتب بها المستخدمون أرقامهم.

تصدير النتائج: تصميم خاصية تصدير جميع البيانات المستخرجة بضغطة زر إلى ملف إكسل (Excel) منظم ومنسق تلقائياً.

التقنيات المستخدمة:

Python

Flask

Selenium & Selenium-Stealth

BeautifulSoup

HTML, JavaScript