Data Engineering (ETL Project)

بدأت رحلتنا مع مشهد بيانات مُجزّأ — كانت بيانات الموظفين موزّعة بين قواعد بيانات Oracle وملفات CSV منفصلة. في مرحلة Data Ingestion & Object Modeling، قمنا بتوحيد هذه المصادر ضمن Landing Zone مركزية، مع التعامل مع ملفات CSV كمصادر بيانات مُهيكلة أسوة بالجداول العلائقية.

وفي مرحلة Advanced Transformation & Quality Rules، طبّقنا تحويلات ذكية، ركّزت بشكل خاص على تحويل قوائم العناوين المعقدة إلى مصفوفات (arrays) نظيفة وقابلة للقراءة. وبدلًا من تجاهل الأخطاء، جاءت مرحلة Exception Management & Human Stewardship لتقدّم 'شبكة أمان بشرية' (Human Safety Net) — توجّه البيانات الخاطئة إلى القائمين على إدارة البيانات (stewards) لإصلاحها يدويًا.

تمثّل مرحلة Reconciliation & Looping Remediation جوهر ذكاء النظام. فقد نفّذنا سير عمل تكراري (looping workflow) يُعيد معالجة السجلات المُصحَّحة لضمان التوافق الكامل. والأهم من ذلك، أنه عندما يقوم أحد الـ stewards بإصلاح سجل ما، لا يكتفي محرك النظام بتصحيح التقرير فحسب، بل يُعالج المصدر نفسه عبر آلية الكتابة العكسية (write-back mechanism)، بما يضمن عدم تكرار هذا الخطأ مجددًا.

وبحلول مرحلة Operational Integration، أصبح لدينا بيانات رئيسية (Master Data) موثوقة، لكن البيانات تحتاج إلى سياق. لذا قمنا بدمج هذه البيانات النظيفة مع المؤشرات التشغيلية عبر Database View موحّد. وأخيرًا، في مرحلتي Infrastructure & Connectivity وAnalytics & Visualization، ربطنا بين البيئة المحلية (on-premise) والسحابة باستخدام Microsoft Gateway، لنقدّم لوحة معلومات Power BI حيّة ومباشرة.

والنتيجة هي نظام لا تُخزَّن فيه البيانات فحسب — بل يتم تنظيفها ومزامنتها وتحويلها بشكل فعّال إلى ذكاء أعمال (business intelligence) موثوق