نظام أتمتة واستخراج بيانات منصة اعتماد
تفاصيل العمل
نظام أتمتة واستخراج بيانات منافسات اعتماد مع إدارة العمليات (Python Web Scraping + MySQL Integration)
أتمتة وبناء سكربتات احترافية بلغة بايثون
تولّيت تصميم المعمارية الكاملة للنظام، تطوير سكربتات الاستخراج، ربط قاعدة البيانات، بناء نظام تتبع العمليات (Process Management)، وتنفيذ نظام تسجيل الأحداث (Logging System).
وصف المشروع:
قمت بتطوير نظام أتمتة متكامل لاستخراج وإدارة بيانات المنافسات ودعوات التأهيل والإعلانات والمشاريع من منصة اعتماد، بهدف تقليل العمل اليدوي وتسريع الوصول إلى البيانات وتحويلها إلى معلومات قابلة للتحليل.
الهدف من المشروع
كانت المشكلة تتمثل في:
- صعوبة متابعة المنافسات يدويًا
- استهلاك وقت طويل في البحث المتكرر
- عدم وجود نظام مركزي لحفظ النتائج
- الحاجة لمراقبة عمليات الاستخراج وإدارتها
تم تطوير حل تقني احترافي يقوم بـ:
- تنفيذ عمليات بحث متقدمة بجميع الفلاتر المتاحة
- استخراج البيانات بشكل منظم ودقيق
- حفظ النتائج في ملفات JSON أو داخل قاعدة بيانات MySQL
- إنشاء ملف حالة (Status File) لكل عملية
- إنشاء ملف سجل (Log File) لمتابعة التغييرات
- إدارة العمليات (تشغيل – إيقاف – إعادة تشغيل) عبر سكربت مدير مستقل
الحل التقني المنفذ:
- تم بناء أداة CLI مرنة تحتوي على 5 أوضاع تشغيل:
- البحث في المنافسات
- البحث في دعوات التأهيل
- البحث في الإعلانات
- البحث في القوائم
- البحث في مشاريع ما قبل التخطيط
مميزات النظام:
- دعم البحث المتقدم (نشاط، منطقة، جهة، تاريخ، نوع، رقم مرجعي...)
- دعم الفرز والترقيم (Pagination)
- إمكانية استخراج عدد غير محدود من النتائج
- حفظ البيانات بشكل منظم وجاهز للتحليل
- دعم الحفظ في قاعدة البيانات أو ملفات JSON
- نظام تتبع حالة كل عملية باستخدام ID
- سكربت مدير لإدارة العمليات الجارية (عرض – إيقاف – إعادة تشغيل)
- تصميم قابل للتوسع والتطوير مستقبلاً
القيمة المضافة للعميل:
- تقليل الوقت المستغرق في متابعة المنافسات بنسبة كبيرة
- إمكانية استخراج مئات النتائج خلال دقائق
- توفير نظام منظم وجاهز للتحليل أو الربط مع أنظمة أخرى
- تقليل الأخطاء البشرية الناتجة عن الإدخال اليدوي
- توفير حل احترافي قابل للاستخدام التجاري أو المؤسسي
الحل مناسب لـ:
- شركات المقاولات
- مكاتب الاستشارات
- فرق تحليل السوق
- أنظمة ذكاء الأعمال (BI)
- أنظمة تتبع المنافسات الداخلية
التقنيات والأدوات المستخدمة:
- Python 3
- argparse (بناء واجهة أوامر احترافية)
- Requests / HTTP Automation
- JSON Processing
- MySQL Database
- dotenv لإدارة متغيرات البيئة
- إدارة العمليات (Process Management)
- نظام Logging احترافي
- تصميم قواعد بيانات تدعم اللغة العربية
المهارات التي تم تطبيقها:
مهارات تقنية:
- Web Scraping احترافي
- أتمتة العمليات
- تصميم أدوات CLI
- تصميم وربط قواعد البيانات
- إدارة العمليات المتزامنة
- معالجة الأخطاء وبناء أنظمة مستقرة
- هيكلة البيانات وتنظيمها
مهارات هندسية:
- تحليل المتطلبات
- تصميم معماري للنظام
- تحسين الأداء
- كتابة توثيق احترافي
مهارات شخصية:
- حل المشكلات التقنية المعقدة
- التفكير المنهجي
- التركيز على القيمة التجارية
- تسليم مشروع قابل للتشغيل الفعلي