تنظيف بيانات باستخدام SQL

عتبر هذا المشروع تطبيقاً عملياً شاملاً لمهارات هندسة وتحليل البيانات باستخدام لغة الـ SQL. يهدف المشروع إلى معالجة وتنظيف مجموعة بيانات ضعبة وواقعية خاصة بتسريح العمالة في الشركات العالمية (World Layoffs Dataset)، وتحويلها من بيانات خام غير منظمة ومليئة بالأخطاء إلى بيانات دقيقة وجاهزة للتحليل واستخلاص رؤى الأعمال الاستراتيجية. الخطوات والمهام التي تم تنفيذها في المشروع (Key Steps & Workflow):تم تطبيق أفضل الممارسات في قواعد البيانات لضمان عدم ضياع البيانات الأصلية، وتلخصت مراحل العمل في الآتي: إنشاء جداول العمل المؤقتة (Staging Tables): إنشاء نسخ مطابقة للجداول الأصلية (Staging) للعمل عليها بحرية وحماية البيانات الخام من أي تعديل غير مبرر. إزالة التكرار (Removing Duplicates): استخدام دوال النوافذ (Window Functions) وتحديداً ROW_NUMBER() مع PARTITION BY لتحديد الصفوف المكررة بدقة وحذفها بالكامل لضمان تفرد السجلات.توحيد وتنسيق البيانات (Standardizing Data):تنظيف المسافات الزائدة وإصلاح الأخطاء الإملائية والترميزية في أسماء الحقول (مثل توحيد مسميات القطاعات كالـ Crypto أو أسماء الدول التي تحتوي على رموز زائدة). تحويل صيغ وأنواع البيانات (Data Types) وتحديداً تحويل أعمدة التواريخ من صيغة نصوص Text إلى صيغة تاريخ حقيقية Date لإجراء العمليات الزمنية بكفاءة. معالجة القيم المفقودة والـ Nulls:التعامل مع القيم الفارغة في الأعمدة الحيوية مثل قطاعات الشركات (Industries) من خلال ربط الجدول بنفسه (Self-Join) واستنتاج البيانات الناقصة بناءً على السجلات المتطابقة لنفس الشركة. التخلص من السجلات غير المجدية التي تحتوي على قيم فارغة في بيانات التسريح الأساسية.التحليل الاستكشافي للبيانات (Exploratory Data Analysis - EDA): كتابة استعلامات متقدمة لاستخراج إحصائيات هامة ورؤى عمل (Business Insights) مثل: معرفة أكثر الشركات والقطاعات تضرراً، والدول الأكثر تسريحاً للعمالة، ومتابعة تطور الأزمات عبر الزمن باستخدام الـ Rolling Totals و CTEs.التقنيات والأدوات المستخدمة (Tools & Technologies): لغة الاستعلامات: SQL (Structured Query Language). المفاهيم والتقنيات المتقدمة المستخدمة:Common Table Expressions (CTEs) Window Functions (ROW_NUMBER(), SUM() OVER) Joins & Data AggregationsData Transformation & DDL/DML Queries النتيجة النهائية:قاعدة بيانات نظيفة بنسبة 100%، خالية من التكرارات والأخطاء، ومصممة هندسياً بشكل احترافي يسهل عملية ربطها بأدوات التحيليل البصري (مثل Power BI أو Tableau) أو اتخاذ القرارات بناءً عليها.