نبذة عن الـ (Data Architecture & Data Processing)

يركز هذا الـمشروع على تحليل منظومة البيانات (Data Lifecycle) داخل ثلاث شركات تعمل في مجالات مختلفة، وهي Thndr (FinTech & Trading)، Talabat (E-commerce & Logistics)، و Fawry (Digital Payments)، بهدف فهم كيفية توليد البيانات، معالجتها، تخزينها، واستخدامها لدعم العمليات التشغيلية واتخاذ القرار.

تناول المشروع مصادر البيانات لكل شركة سواء كانت داخلية أو خارجية، مثل بيانات المستخدمين، الطلبات، المعاملات المالية، أنظمة الدفع، الـ POS، وواجهات الخرائط، بالإضافة إلى بيانات الأسواق المالية والبنوك. كما تم شرح آليات جمع البيانات (Data Ingestion) باستخدام Real-Time Streaming و Batch Processing وفقًا لطبيعة كل نشاط.

غطّى الـ مشروع طبقات تخزين البيانات بداية من Data Lake للبيانات الخام، مرورًا بـ Data Warehouse لدعم التحليلات والتقارير، وصولًا إلى Operational Databases المستخدمة في الأنظمة الحية والتطبيقات.

كما تم استعراض طبقة المعالجة (Processing Layer) باستخدام أدوات مثل Spark، Flink، Kafka Streams، dbt، وAirflow لتنفيذ عمليات التحويل، التسوية، الكشف عن الاحتيال، والتقارير التشغيلية.

وفي Serving Layer، تم توضيح كيفية استهلاك البيانات من خلال لوحات معلومات BI، APIs، أنظمة التتبع اللحظي، النماذج التنبؤية، وأنظمة كشف الاحتيال لدعم فرق الأعمال، العمليات، المخاطر، وخدمة العملاء.

الأدوات والتقنيات المستخدمة في الـ المشروع تشمل:

Kafka، Webhooks، REST APIs، Spark، Flink، dbt، Airflow، Snowflake، BigQuery، PostgreSQL، Redis، Power BI، مع التركيز على قابلية التوسع، الاعتمادية، ودعم المعالجة اللحظية للبيانات.

يعكس هذا المشروع فهمًا عمليًا قويًا لـ Data Engineering Concepts، وتصميم Data Pipelines، والتعامل مع البيانات في بيئات عالية الحجم والحساسية، خاصة في مجالات المدفوعات، التجارة الإلكترونية، والأسواق المالية.