قمت بتطوير نظام آلي لاستخراج بيانات الوظائف من موقع Wuzzuf باستخدام لغة Python وتقنيات Web Scraping.
يقوم النظام بجمع بيانات الوظائف من صفحات البحث وتحويلها من بيانات غير منظمة داخل صفحات HTML إلى بيانات منظمة يمكن استخدامها في التحليل أو بناء قواعد بيانات.
تم بناء سكريبت يقوم باستخراج أهم معلومات الوظائف مثل:
Job Title
Company Name
Job Location
Posted Date
Job Description
Job URL
بعد ذلك يتم تنظيف البيانات ومعالجة القيم الناقصة ثم تخزينها في ملف منظم بصيغة CSV وقاعدة بيانات لاستخدامها لاحقًا في التحليل.
المشروع يوضح القدرة على بناء Pipeline لاستخراج البيانات من الويب وتحويلها إلى بيانات منظمة قابلة للاستخدام.
الأدوات المستخدمة
Python,BeautifulSoup,Requests,Pandas