مهندس بيانات Backend متقدم لبناء منظومة معالجة وإثراء البيانات Data Processing لمنصة B2B

مطلوب مهندس بيانات / مطور Backend متقدم لبناء منظومة معالجة وإثراء البيانات (Data Processing Layers) لمنصة B2B

المهام والطبقات المطلوبة لبرمجتها (Data Processing Layers):

1. طبقة الفرز والتنظيف (Data Cleansing Layer)

: تنظيف البيانات الخام القادمة من الـ APIs، وحذف السجلات الناقصة، وإزالة الفراغات والرموز البرمجية الخبيثة.

2. طبقة توحيد البيانات (Data Normalization Layer)

: توحيد صيغ أرقام الهواتف برمجياً إلى الصيغة الدولية السعودية الموحدة (E.164)، وتوحيد كتابة النصوص والأسماء العربية لتتوافق مع محركات البحث الفائقة.

3. طبقة دمج المصادر وحذف التكرار الذكي (Deduplication & Data Merging)

: منع تكرار المنشآت التقني بالاعتماد على (Google Place ID كـ Unique Key)، مع بناء خوارزمية مطابقة مرنة (Fuzzy Matching Logic) تدمج البيانات وتحدث الحقول الناقصة إذا تشابهت الهواتف أو الروابط بدلاً من تكرار السجل.

4. طبقة إثراء البيانات الذكي (Data Enrichment Layer)

: بمجرد توفر رابط موقع الشركة، يقوم النظام آلياً بتمريره لروبوت كشط خلفي (Scraper) لفحص الـ HTML واستخراج البريد الإلكتروني، حسابات السوشيال ميديا النشطة (X، إنستغرام، لينكد إن)، والتقنيات المستخدمة في الموقع (مثل تتبع منصات سلة أو زد).

5. طبقة التحقق من الجودة (Validation & QA Layer): ربط فلاتر برمجية سريعة للتحقق من صلاحية الإيميلات (SMTP check لمنع الـ Bounce) والتحقق من نشاط أرقام الهواتف والواتساب.

6. طبقة التخزين وجدولة التحديث التلقائي (Storage & Dynamic TTL)

: حفظ البيانات النهائية في قاعدة البيانات، مع برمجة مهام مجدولة (Cron Jobs) تعمل تلقائياً في الخلفية لإعادة تحديث السجلات التي انتهت صلاحيتها الزمنية لضمان أن الداتا "طازجة" دائماً.

الشروط والأنظمة التقنية الإلزامية:

• الخلفية البرمجية: بيئة عمل Node.js باستخدام إطار عمل قوي ومنظم مثل (NestJS).

• قاعدة البيانات: الاعتماد الكلي على PostgreSQL (ويفضل خبرة في الفهرسة المتقدمة B-Tree وعمل الـ Composite Indexes والبحث الجغرافي PostGIS).

• إدارة المهام الخلفية: فصل منظومة المعالجة والكشط تماماً عن الموقع الرئيسي عبر طوابير عمل معزولة (Background Workers) باستخدام Redis + BullMQ.

• أدوات الكشط: استخدام أدوات متطورة ومحمية مثل (Playwright Stealth) لضمان تجاوز الحظر وتدوير البروكسيات السكنية (Rotating Residential Proxies).

المطلوب من المستقل عند التقديم:

1. إرفاق نماذج أعمال سابقة واضحة قمت فيها ببناء (Data Pipelines) أو أنظمة معالجة داتا ضخمة وإثراء (Enrichment).

2. شرح مختصر لآليتك البرمجية المفضلة لتنفيذ خوارزمية حذف التكرار (Deduplication) وإدارة طوابير الـ BullMQ تحت الضغط العالي.

3. التقنيات والخدمات (Services) التي تقترح ربطها لضمان أقل تكلفة تشغيلية للسيرفر والبروكسيات.

المشروع مصمم ليكون مبنياً على كود نظيف وتوثيق هندسي كامل (Clean Architecture & Swagger API Documentation) ليكون حجر الأساس لشراكة طويلة الأمد لتطوير مراحل الذكاء الاصطناعي لاحقاً بميزانيات مستقلة ومجزية.

بالتوفيق للجميع وننتظر عروضكم الهندسية الاحترافية.