بناء نظام آلي لاستخراج وتحليل بيانات المنافسات الحكومية (منصة اعتماد) + لوحة تحكم تفاعلية

طلب مني أحد مستشاري الأعمال استخراج بيانات ضخمة ومعقدة لمنافسات حكومية تمت ترسيتها على منصة "اعتماد"، وذلك لغرض التحليل المالي والاستراتيجي. كان التحدي يكمن في استخراج البيانات بدقة 100%، وخاصة الأرقام المالية وأسماء الشركات المنافسة المتداخلة.

الحل التقني الذكي (التنفيذ):

بدلاً من الاعتماد على طرق الـ Web Scraping التقليدية والبطيئة (مثل محاكاة المتصفح بـ Selenium) والتي تكون عرضة للأخطاء، قمت بعمل هندسة عكسية (Reverse Engineering) لفحص شبكة الموقع، واستخدمت الربط المباشر مع الـ API الخاص بالمنصة. هذا القرار ضمن سحب البيانات بسرعة فائقة وبدقة تطابق قواعد البيانات الحكومية تماماً.

مميزات وخطوات العمل:

الاستخراج الدقيق (Data Extraction): سحب بيانات 128 صفحة (768 فرصة) متضمنة (اسم المشروع، الجهة، الرقم المرجعي، قائمة المتنافسين، العروض المالية، واسم الفائز).

تنظيف وهيكلة البيانات (Data Cleaning & Structuring): استخدام Python (مكتبة Pandas) لمعالجة البيانات الخام. قمت بفصل العملة (SAR) عن الأرقام لتكون جاهزة للعمليات الحسابية، وإعادة هيكلة قائمة المنافسين إلى نظام (Long Format) بحيث يظهر كل منافس وعرضه المالي في صف مستقل لتسهيل المقارنة.

لوحة تحكم تنفيذية (Executive Dashboard): لم أكتفِ بتسليم البيانات الخام، بل صممت داشبورد تفاعلية متقدمة داخل Excel تقدم تحليلات فورية للعميل، شملت:

أكثر 5 شركات استحواذاً على المشاريع.

الجهات الحكومية الأعلى إنفاقاً.

توزيع المشاريع وتكرارها.

النتيجة:

تم تسليم ملف Excel احترافي وجاهز تماماً لاتخاذ القرارات الاستراتيجية في وقت قياسي، وحصل العمل على تقييم 5 نجوم وإشادة بجودة واحترافية التنفيذ.