مشروع Z-Scraper: منصة أتمتة وكشط بيانات متكاملة (SaaS)

مشروع Z-Scraper هو منصة Full-Stack متطورة تتيح للمستخدمين بناء وتنفيذ مهام أتمتة الويب وكشط البيانات (Web Scraping) بصرياً، دون الحاجة لكتابة أكواد معقدة، من خلال محرر تدفق (Node-based Workflow Editor).

?️ التقنيات المستخدمة:

Frontend: Next.js, React, TypeScript, Tailwind CSS, Shadcn UI.

Workflow Engine: React Flow لبناء المخططات البصرية.

Backend & Automation: Puppeteer لأتمتة المتصفح، Prisma كـ ORM.

Database: PostgreSQL.

Infrastructure: Clerk للهوية، Stripe للمدفوعات، React Query لإدارة الحالة.

? أبرز مميزات المشروع:

محرك تنفيذ مخصص (Custom Execution Engine): تم بناء محرك يعالج سير العمل (Workflow) ويحوله إلى خطط تنفيذية مرتبة، مع إدارة ذكية للتبعية بين المهام (Dependency Resolution).

أتمتة كاملة للمتصفح: محاكاة حقيقية لسلوك المستخدم (نقر، كتابة، تمرير، انتظار العناصر) واستخراج البيانات بدقة.

دعم الذكاء الاصطناعي: استخراج البيانات بشكل مهيكل (Structured Data) باستخدام تقنيات AI.

نظام اشتراكات وائتمان (Credit System): نظام متكامل لاستهلاك النقاط لكل مهمة مع بوابات دفع Stripe وتوثيق Clerk.

إدارة أخطاء ذكية: سجلات تنفيذ تفصيلية (Logs) لكل مرحلة لضمان تتبع الفشل وإصلاحه بسهولة.

? القيمة التقنية:

المشروع يتجاوز كونه تطبيق CRUD تقليدي؛ فهو يجسد مفاهيم Advanced System Design، و Workflow Orchestration، مما يجعله نموذجاً لمنصة SaaS قابلة للتوسع (Scalable) تدعم إضافة مهام ومحركات تنفيذ جديدة بسهولة عبر نظام Registry مركزي.