ETL-Telecom-SSIS

مشروع “ETL Telecom SSIS” هو نظام ETL (استخراج، تحويل، تحميل) تمّ تصميمه خصيصًا لشركة اتصالات، حيث يتمّ معالجة ملفات CSV تحتوي على بيانات نشاط العملاء مثل IMSI, IMEI, CELL وغيرها، ثم تنظيفها، التحقق منها، وتحميلها في قاعدة بيانات مع التعامل مع السجلات المرفوضة.

نوع العمل

بناء Pipeline ETL باستخدام SQL Server Integration Services (SSIS) لقراءة ملفات CSV كمدخلات.

تطبيق قواعد العمل (Business Rules) للتحقق من سلامة البيانات، مثل:

التحقق من أن IMSI ليست NULL.

تقسيم IMEI إلى TAC و SNR، أو استبداله بقيمة -99999 عند الخطأ.

التأكد أن CELL و LAC ليسا NULL.

التحقق من أن Event Timestamp بتنسيق DateTime صحيح.

تخزين السجلات المرفوضة (Rejected Records) في جدول خاص مع تسجيل اسم الملف الأصلي.

إدارة الملفات بعد المعالجة والتحميل إلى قاعدة البيانات.

مميزات المشروع

مصمم خصيصًا لبيئة شركات الاتصالات — ما يجعله مناسبًا لمعالجة بيانات كبيرة وتطبيق قواعد معقّدة.

يُظهر خبرة في استخدام SSIS و SQL Server ضمن سيناريوهات ETL حقيقية.

التعامل مع بيانات غير مثالية (مثل nulls، تنسيقات خاطئة) وتحميلها بطريقة منظّمة يجعل النظام قويًّا وموثوقًا.

السجلات المرفوضة تُخزّن مع التفاصيل مما يسهّل التتبّع وتحليل الأخطاء.

مناسب لتقديم كخدمة: “تحويل ملفات CSV إلى قاعدة بيانات مع تنظيف وتحميل تلقائي”.

طريقة التنفيذ

جمع ملفات CSV المصدر: ملفات تحتوي بيانات نشاط العملاء (IMSI, IMEI, CELL, LAC, …).

إعداد بيئة SQL Server وإنشاء قاعدة بيانات وجداول المصدر والملف المرفوض.

بناء حزمة SSIS: قراءة الملفات، تطبيق قواعد التحقق، تقسيم IMEI، التعامل مع NULLs، تسجيل الأخطاء.

تحميل السجلات الصحيحة إلى جدول الهدف، والسجلات المرفوضة إلى جدول مرفوضين مع اسم الملف الأصلي.

إدارة الملف بعد المعالجة (نقله أو أرشفته).

اختبار النظام: معالجة عدة ملفات، التحقق من جودة البيانات، التأكد من أن السجلات المرفوضة تُخزّن بشكل صحيح.

تقديم الوثائق اللازمة وتشغيل النظام ضمن بيئة الإنتاج أو التطوير حسب الحاجة.