Web Scraping then Data analysis

موقع Ehsan Forigat هو موقع سعودى موثوق لجمع التبرعات للمحتاجين والغارمين

كان العمل عبارة عن سحب بيانات الغارمين بالموقع وهم ما يعادل ال12 ألف شخص بمعدل 9 بيانات لكل شخص وعمل السكريبت الخاص بسحب البيانات والتأكد من كفائته وعمل كل ال Error Handling لكل الأخطاء المتوقعة وتسليم السكريبت والبيانات المسحوبة للعميل

تم عمل المشروع باستخدام بايثون و BeautifulSoup + Requests + pandas .

- تم استخدام Python Regex (Regular Expression) للوصول للداتا المطلوبة المطلوبة بالتحديد في الHtml أيا كان مكانها وحتى اذا تغير ال Html يمكن الوصول للداتا.

بعد سحب الداتا انتقلنا لمرحلة تحليل البيانات لتحديد الغارمين الأكثر استحقاقا وفقا للسن وظروف المعيشة حتى يستطيع المتبرعين مساعدتهم والتركيز عليهم.