بناء نظام مجمع ومراقب بيانات سوقي (Market Data Aggregator) متعدد المصادر

فكرة العمل:

تطوير نظام متقدم بلغة بايثون يقوم بتجميع، تنظيف، وتوحيد كميات ضخمة من البيانات غير المهيكلة (Unstructured Data) من مصادر ويب متعددة ومعقدة، وتحويلها إلى رؤى تجارية (Insights) قابلة للاستخدام.

المواصفات التقنية والميزات:

• التعامل مع الحمايات: النظام مجهز لتجاوز حمايات الويب (Anti-scraping bypass) وإدارة وكلاء الاتصال (Proxy Rotation).

• توحيد البيانات (Normalization): بناء سكربتات لتنظيف البيانات المستخرجة (Data Cleaning) وتوحيد الحقول من مصادر مختلفة لضمان اتساقها في قاعدة البيانات الأساسية.

• الأتمتة والجدولة: النظام يعمل ذاتياً ومجدولاً عبر (GitHub Actions أو سيرفر خاص) لتحديث البيانات بصفة دورية.