Automated Web Scraping & Data Synchronization Pipeline with Email Marketing Outreach

تطوير نظام أتمتة ثنائي المراحل باستخدام منصة n8n يعمل على استخراج البيانات (Scraping) من الويب، تنقيتها، ومقارنتها بقواعد البيانات الحالية لتحديثها تلقائياً، ومن ثم إطلاق حملة مراسلات بريدية مستهدفة ومجدولة بناءً على البيانات المستخرجة.

المكونات والوظائف الرئيسية للنظام:

المرحلة الأولى: كشط البيانات ومزامنتها (Data Scraping & Sync):

تبدأ هذه المرحلة يدوياً (Manual Trigger) لاستدعاء أداة الكشط عبر منصة Apify باستخدام (HTTP GET Request) لجلب بيانات محدثة من الويب.

يمرر النظام البيانات عبر عقدة إزالة التكرارات (Remove Duplicates) لضمان جودة ونقاء البيانات.

يقوم النظام بجلب البيانات القديمة المخزنة في (Google Sheets) ومقارنتها بالبيانات الجديدة عبر عقدة (Compare Datasets) لتحديد العناصر الجديدة فقط (In A only)، ومن ثم إضافتها كصفوف جديدة (Append row in sheet).

المرحلة الثانية: معالجة البيانات والحملة البريدية (Data Processing & Email Outreach):

تعمل هذه المرحلة بشكل تلقائي ومجدول (Schedule Trigger)، حيث تفحص الصفوف الجديدة في الجدول، وتصفيها (Filter) بناءً على معايير محددة.

يتم تعديل الحقول (Edit Fields) وتمرير البيانات عبر كود (JavaScript) المخصص لإعادة الهيكلة، ثم تحديد حجم البيانات المعالجة (Limit).

يعتمد النظام على آلية التكرار الذكي (Loop Over Items) لإرسال رسائل بريدية مخصصة عبر (Gmail) لكل عميل مستهدف، ثم تحديث حالة الصف في الجدول إلى "تم الإرسال" (Update row in sheet)، مع إدراج آلية انتظار (Wait) بين كل رسالة وأخرى لتفادي حظر البريد الإلكتروني (Rate Limiting).