بناء Data Pipeline احترافي بمعمارية Medallion Architecture من API إلى PostgreSQL

مشروع هندسة بيانات متكامل يقوم بجلب البيانات تلقائياً

من REST API ومعالجتها عبر 3 طبقات احترافية:

━━━━━━━━━━━━━━━━━━━━━

?️ ما الذي بنيته ؟

━━━━━━━━━━━━━━━━━━━━━

? Bronze — استقبال JSON الخام من API وحفظه كما هو

? Silver — تنظيف البيانات وتقسيمها إلى 4 جداول منظمة

? Gold — تجميع وتحليل البيانات جاهزة للأعمال

━━━━━━━━━━━━━━━━━━━━━

? الأرقام الحقيقية

━━━━━━━━━━━━━━━━━━━━━

✅ 194 منتج معالج تلقائياً

✅ 364 tag منظم

✅ 474 صورة مستخرجة

✅ 582 تقييم محلل

✅ 8 اختبارات آلية تعدي 100%

━━━━━━━━━━━━━━━━━━━━━

⚙️ القرارات الهندسية

━━━━━━━━━━━━━━━━━━━━━

→ DDL منفصل عن الكود عبر SQL migrations

→ منع التكرار على مستوى DB بـ ON CONFLICT

→ حذف PII قبل طبقة Silver (GDPR-aware)

→ كل طبقة مسؤولية واحدة فقط

→ أمر واحد يشغّل كل الـ pipeline

━━━━━━━━━━━━━━━━━━━━━

?️ التقنيات المستخدمة

━━━━━━━━━━━━━━━━━━━━━

Python · PostgreSQL · psycopg2

JSONB · pytest · SQL Migrations · Git

━━━━━━━━━━━━━━━━━━━━━

هذا النوع من المشاريع يُستخدم في شركات

تعتمد على البيانات لاتخاذ قرارات الأعمال.

متاح لتنفيذ مشاريع مشابهة أو بناء pipelines

مخصصة لبياناتك الخاصة.