موجز المشروع: يهدف هذا المشروع إلى أتمتة عملية استخراج وظائف محلل بيانات من موقع Glassdoor.
عملية الأتمتة:
البحث:
كتابة "محلل بيانات، عن بعد" في شريط البحث.
تصفية النتائج بأحدث وظائف خلال الـ3 أيام الماضية.
استخراج البيانات:
باستخدام مكتبة Playwright في Python، يتم استخراج البيانات تلقائياً لـ:
عنوان الوظيفة.
اسم الشركة.
الراتب.
معلومات أخرى (يمكن إضافة المزيد لاحقًا).
استخراج البيانات من جميع صفحات نتائج البحث.
معالجة وتحليل البيانات:
تخزين البيانات المستخرجة في ملف JSON.
تطبيق عملية دمج وتحويل البيانات (ETL) استعداداً لتنظيف الميزات وتحليلها.
إجراء تحليل استكشافي للبيانات (EDA) باستخدام مكتبات مثل Pandas.
بناء لوحة تحكم بتقنية Plotly&Dash لعرض واستخلاص رؤى رئيسية ومطالب أساسية للوظائف.
المهارات المستخدمة:
Python ومكتبة Playwright لاستخراج البيانات.
Pandas و مكتبات تحليل البيانات الأخرى لتنظيف البيانات.
Plotly&Dash لبناء لوحة تحكم تفاعلية.
الفوائد:
يوفر هذا المشروع وقتًا وجهدًا كبيرين في البحث عن وظائف محلل بيانات.
يقدم تحليل شامل لمتطلبات الوظائف والمؤهلات المطلوبة.
يساعد على اتخاذ قرارات مهنية مستنيرة بشأن فرص العمل.
- تم استخدام لغة Python لكتابة برنامج نصي آلي باستخدام Playwright to Scrape data Analyst jobs على موقع Glassdoor
- تنفيذ عملية ETL وتحميل البيانات في ملف JSON للتعاقد على تنظيف البيانات وهندسة الميزات والتحليل
- تنفيذ EDA وإنشاء لوحة معلومات باستخدام Plotly&Dash للحصول على رؤى وتحديد المفتاحمتطلبات
رابط المشروع: