Udemy Website Scraping and Data Manipulation

بدأت المشروع بتلقي Attachment عن طريق ال Gmail التي احتوت على تفاصيل الكورسات من اسم الكورس و واعلى سعر له و العمله الي يريد بيها اسعار الكورسات. وهنا بدأت رحلتي في تحويل هذه البيانات إلى معلومات قابلة للتحليل. قمت بتصميم وتطوير حزم "المرسل" Dispatcher و"المنفّذ" Performer باستخدام تقنية RE Framework، وكانت هذه الخطوة أساسية لإدارة العمليات بكفاءة وضمان تنفيذها بسلاسة.

استخدمت Orchestrator كمنصة لإنشاء العمليات وضبط إعدادات الروبوتات و تكوين ال Triggers وتخصيص المهام للروبوتات. اعتمدت على تريجر Gmail لتشغيل Dispatcher، بينما استخدمت تريجر ال Queue لبدء تنفيذ ال Performer.

لضمان أمان المعلومات، استخدمت ال Assets لتخزين المعلومات الحساسة والمهمة. كما استخدمت (Currency Exchange API) للحصول على أسعار صرف العملات. و قمت بتدبير جميع Exceptions التي قد تحدث خلال تشغيل العمليات، مما أضفى على النظام مرونة وقدرة على التكيف.

وفي الختام، تم إنشاء تقرير نظيف ومفصل يحتوي على جميع تفاصيل الكورسات على ال Excel بعد تطبيق عمليات تعديل السلاسل. كنت دائمًا ملتزمًا باتباع ال Best Practice في البرمجه، مما ساهم في تحقيق نجاح هذا المشروع.