تنظيف البيانات باستخدام Excel Power Query و SQL

هل تواجه صعوبة في تحليل بياناتك بسبب العشوائية، التكرار، أو القيم المفقودة؟ في هذا المشروع، قمت بتحويل بيانات مبيعات خام (Raw Data) غير منظمة إلى قاعدة بيانات احترافية مهيكلة وجاهزة لاستخراج التقارير والـ Dashboards.

ما قمت بتنفيذه في هذا العمل:

مرحلة الـ ETL (Extract, Transform, Load):

استخدام Power Query لسحب البيانات ومعالجة المشاكل الشائعة مثل القيم الفارغة (Nulls) وتصحيح أنواع البيانات (Data Types).

بناء Custom Columns برمجياً لحساب القيم الناقصة (مثل حساب سعر الوحدة بناءً على إجمالي المبيعات والكمية).

هيكلة البيانات باستخدام SQL:

إنشاء جداول احترافية مع تطبيق القيود (Constraints) و الـ Primary Keys لضمان جودة البيانات.

كتابة استعلامات (Queries) متقدمة باستخدام TRY_CAST و ISNULL لضمان تحويل البيانات دون أخطاء.

التحقق من صحة البيانات (Data Validation):

كتابة استعلامات مخصصة لكشف القيم السالبة (Check Negatives) والتأكد من خلو البيانات من التكرارات (Duplicate Check).

الأتمتة (Automation):

تصميم النظام بحيث يكون Refreshable؛ بمجرد إضافة بيانات جديدة، يتم تنظيفها وتحديث التقارير تلقائياً بضغطة زر.

الأدوات المستخدمة:

Microsoft Excel / Power Query: لتنظيف وتشكيل البيانات.

SQL Server (T-SQL): لبناء قواعد البيانات والتحقق من صحتها.

Data Cleaning Techniques: (Handling Missing values, Outliers detection, Data Normalization).

النتيجة النهائية:

بيانات نظيفة بنسبة 100%، موثقة بالخطوات، وجاهزة فوراً لعمليات التحليل المتقدمة أو العرض على Power BI.