تفاصيل العمل

أنا مهندسة بيانات (Data Engineer)، وقمت بتطوير مشروع متكامل واحترافي لإدارة وهندسة بيانات مبيعات الـ CRM (End-to-End Data Pipeline) باستخدام أحدث أدوات الـ Modern Data Stack لضمان دقة واستدامة تدفق البيانات للشركات واتخاذ القرارات المبنية على الأرقام.

🛠️ الأدوات والتقنيات المستخدمة (Tech Stack):

Orchestration: Apache Airflow & Astro CLI (Dockerized).

Transformation & Modeling: dbt (Data Build Tool) v1.7.20 with Star Schema.

Storage & Warehousing: MySQL (ODS, Staging, and Data Warehouse layers).

Containerization: Docker Desktop & WSL.

🔄 مراحل العمل ونطاق التنفيذ (Pipeline Architecture):

Data Ingestion (ODS): سحب البيانات الخام (Raw Data) الخاصة بالحسابات، المنتجات، فريق المبيعات، ومسار المبيعات (Sales Pipeline) وتخزينها في طبقة الـ ODS (Operational Data Store) لضمان حفظ الأصول كما هي.

Workflow Orchestration (Airflow): بناء وتصميم DAG آلي بالكامل (Automated DAG) لجدولة وتنفيذ عمليات الـ ETL بالتتابع مع إدارتها داخل حاويات Docker لضمان الاستقرار.

Data Transformation & Modeling (dbt):

بناء طبقة الـ Staging لتنظيف وتوحيد أسماء الأعمدة وأنواع البيانات.

تصميم Star Schema احترافي يضم جداول الأبعاد (Dimensions: Accounts, Products, Sales Teams) وجدول الحقيقة (Fact Table: Sales Pipeline).

Data Quality Assurance: إجراء وتطبيق 8 اختبارات جودة تلقائية (dbt Tests) للتحقق من تفرد البيانات (Unique) وخلوها من القيم الفارغة (Not Null)، وجميعها تمت بنجاح بنسبة 100%.

ستحصل عند طلب الخدمة على :

Production-Ready Pipeline: خط أنابيب بيانات متكامل وقابل للتشغيل التلقائي.

Clean Code & Documentation: كود منظم بالكامل مع ملف README.md تفصيلي ودليل إرشادي تقني يشرح خطوات التشغيل.

Analytics & BI Ready: بيانات جاهزة ومصممة خصيصاً للربط المباشر مع أدوات الـ Business Intelligence مثل Power BI أو Tableau.

ملفات مرفقة

بطاقة العمل

اسم المستقل
عدد الإعجابات
0
تاريخ الإضافة