Udemy courses scraping

أتمتة عملية جمع تفاصيل الدورات من Udemy، بناءً على معايير محددة مذكورة في مرفقات البريد الإلكتروني، وتوليد تقرير شامل للتحليل.

التحديات:

استخراج البيانات: تحليل واستخراج المعلومات ذات الصلة بالدورة من Udemy بشكل فعال مع التعامل مع عناصر الموقع الديناميكية.

حجم البيانات: معالجة عدد كبير من الدورات (500) بكفاءة دون التأثير على الأداء.

معالجة الأخطاء: تنفيذ آليات معالجة الأخطاء القوية لحساب المشكلات غير المتوقعة أثناء استخراج البيانات ومعالجتها.

اتساق البيانات: ضمان توحيد البيانات ودقتها طوال عملية الأتمتة.

الحلول:

استقبال مرفقات البريد الإلكتروني: بالتفاصيل المطلوبة للدورات ومسح 500 دورة من موقع Udemy.

تطوير حزم Dispatcher و Performer: باستخدام إطار RE.

استخدام Orchestrator: لإنشاء العمليات ومحفزاتها وتعيين الروبوت لها.

تطبيق محفز Gmail: باستخدام خدمات التكامل لتشغيل عملية Dispatcher ومحفز Queue لعملية Performer.

استخدام الأصول: لتخزين المعلومات المهمة والحساسة.

استخدام API: لتحويل العملات.

معالجة جميع الاستثناءات: التي قد تحدث أثناء التشغيل.

إنشاء تقرير نظيف: يحتوي على جميع تفاصيل الدورات بعد تطبيق معالجة السلاسل النصية.