بناء خط ETL متكامل باستخدام DuckDB وdbt

المشكلة:

كانت بيانات العملاء والطلبات والمدفوعات موجودة كملفات Raw CSV منفصلة، مما يجعل تنظيمها وتجهيزها لعمليات التحليل والتحويل أكثر صعوبة، خاصة مع الحاجة إلى إنشاء Data Pipeline منظمة وقابلة للتوسع.

الحل:

قمت ببناء مشروع ETL باستخدام DuckDB وdbt لتنظيم ومعالجة البيانات. بدأت بتحميل ملفات raw_customers وraw_orders وraw_payments إلى قاعدة بيانات DuckDB، وإنشاء طبقة ODS مخصصة للبيانات الخام. كما تم تنظيم مشروع dbt ليشمل Models وTests وMacros وSeeds لإدارة عمليات تحويل البيانات بشكل منظم.

النتائج:

أصبحت البيانات الخام منظمة داخل طبقة ODS في DuckDB، وأصبح المشروع مجهزًا لعمليات Data Transformation وData Quality Testing باستخدام dbt، مما يوفر Pipeline أكثر تنظيمًا وقابلية لإعادة الاستخدام والتطوير.