created report about talabt

يسعدني مشاركة مخطط لمشروع هندسة بيانات يركز على تحليل ومعالجة بيانات منصة طلبات، الرائدة في مجال توصيل الطعام والخدمات اللوجستية. نظرًا لأن طلبات تعتمد بشكل كامل على البيانات في عملياتها اليومية، فإن الحاجة إلى بنية تحتية قوية للبيانات أصبحت ضرورة ملحة وليست رفاهية.

الهدف من المشروع:

يهدف هذا المشروع إلى تصميم وتنفيذ طبقة تخزين بيانات خام (Data Lake) قادرة على استيعاب الكم الهائل والمتنوع من البيانات القادمة من مختلف أنشطة المنصة. هذه الطبقة ستكون بمثابة المصدر الوحيد والموثوق (Single Source of Truth) لكل البيانات غير المعالجة، والتي سيتم استخدامها لاحقاً في التحليلات المتقدمة، وتدريب نماذج التعلم الآلي، واتخاذ القرارات التشغيلية.

مصادر البيانات (Data Sources):

يتعامل المشروع مع ثلاثة أنواع رئيسية من البيانات:

أولاً: بيانات العملاء:

تفاعلات العملاء مع تطبيق الجوال والموقع الإلكتروني (نقرات، بحث، الخ).

المعلومات الأساسية للحسابات (العناوين، الأسماء، أرقام الهاتف).

التقييمات والمراجعات على المطاعم والطلبات.

ثانياً: بيانات المطاعم والبائعين:

بيانات المخزون والمنتجات (خاصة بعروض البقالة والتجارة السريعة).

ثالثاً: بيانات تشغيلية ونظامية:

سجلات (Logs) الأداء والأخطاء من الأنظمة المختلفة.

سجلات عمليات الدفع (Payment Logs).

طبقة التخزين المقترحة (Storage Layer):

المستودع: بحيرة البيانات (Data Lake).

الوظيفة: ستكون مسؤولة عن تخزين جميع البيانات الأولية (Raw Data) القادمة من المصادر السابقة كما هي وبدون أي تعديل. هذا يضمن عدم فقدان أي تفاصيل، ويتيح لنا إمكانية العودة للبيانات الخام في أي وقت لمعالجتها بطرق مختلفة حسب الحاجة.

التقنيات المقترحة:

منصة التخزين السحابي: سيعتمد المشروع بشكل أساسي على خدمات التخزين السحابي مثل Amazon S3 و Google Cloud Storage.

محتوى التخزين: سيتم تخزين أنواع مختلفة من الملفات، من أبرزها السجلات الخام (Raw Logs) وسجلات الدفع (Payment Logs).