تحليل وهندسة بيانات خوادم الويب (Server Logs Analysis) لاستخراج تقارير أمنية وأداء باستخدام Python

نبذة عن المشروع:

مشروع متقدم في هندسة البيانات (Data Engineering) والتحليل الأمني، يهدف إلى تحويل بيانات خام وغير مهيكلة (Unstructured Data) مستخرجة من سجلات سيرفر ويب (Nginx Access Logs) بحجم يتخطى 3 جيجابايت لمتجر إلكتروني، إلى لوحة معلومات (Dashboard) واضحة وقابلة للتحليل. ركز المشروع على تتبع حركة المرور (Traffic)، وتحليل سلوك الزوار، واكتشاف الأنشطة غير الطبيعية (Bots & Scrapers) لتحسين أداء السيرفر وتجربة المستخدم.

المهام التي قمت بتنفيذها في هذا المشروع:

استخراج ومعالجة البيانات (Data Extraction & Parsing):

بناء نصوص برمجية باستخدام التعابير النمطية (Regex) لتفكيك السجلات النصية المعقدة واستخراج الحقول الأساسية (IP Address, Timestamp, HTTP Method, URL, Status Code).

التنظيف وإثراء البيانات (Data Cleaning & Enrichment):

معالجة وتوحيد التنسيقات الزمنية (Datetime formatting) لاستخراج مؤشرات دقيقة لأوقات الذروة.

دمج البيانات (Data Merging/Left Join) بين سجلات السيرفر وقاعدة بيانات خارجية (CSV) لترجمة عناوين الـ IP إلى أسماء الشبكات (Hostnames)، مما ساعد في التمييز بين الزوار الحقيقيين ومحركات البحث.

التحليل الاستكشافي واستخراج الرؤى (EDA & Security Insights):

تحليل صحة الموقع (Website Health): رصد وتصنيف أكواد استجابة السيرفر (HTTP Status Codes) لاكتشاف نسبة الروابط المعطلة (404 Errors) مقارنة بالطلبات الناجحة.

التحليل الأمني (Security & Bot Detection): تحديد أكثر عناوين الـ IP استهلاكاً لموارد السيرفر لاكتشاف برامج الزحف (Crawlers) والزيارات الوهمية بغرض حظرها (Blacklisting) وتوفير الباندويث.

تحليل أوقات الذروة (Time Series Analysis): رسم خط زمني لحركة المرور على مدار الـ 24 ساعة لمساعدة الإدارة في التنبؤ بأوقات الضغط وزيادة كفاءة الاستضافة.

الأدوات والتقنيات المستخدمة:

لغة البرمجة: Python

مكتبات معالجة البيانات: Pandas, Regular Expressions (Regex)

مكتبات تصور البيانات: Matplotlib, Seaborn

النتيجة النهائية:

تم تقديم تقرير مرئي شامل (مرفق في معرض الأعمال) يوضح نقاط الضعف في أداء الموقع، ويقدم توصيات مبنية على الأرقام لتقليل الضغط على السيرفر وتحسين الـ SEO الخاص بالمتجر.