برمجة كود بايثون مخصص لسحب بيانات من موقع اعتماد السعودي

تم تطوير كود بايثون مخصص لسحب البيانات (Web Scraping) من موقع اعتماد السعودي باستخدام مكتبات Selenium و BeautifulSoup و Pandas. يهدف هذا المشروع إلى استخراج بيانات المنافسات الحكومية المتاحة على منصة اعتماد وتنظيمها في ملف CSV.

التفاصيل التقنية:

المكتبات المستخدمة:

Selenium: للتفاعل مع الموقع وتصفح الصفحات المختلفة.

BeautifulSoup: لتحليل الشيفرة المصدرية لصفحات HTML واستخراج البيانات المطلوبة.

Pandas: لتنظيم البيانات المستخرجة وتصديرها إلى ملف CSV.

آلية العمل:

يتم استخدام مكتبة Selenium لفتح الروابط المتاحة في ملف نصي يحتوي على روابط المنافسات ("urls.txt").

بعد الدخول إلى صفحة المنافسة، يتم استخراج الشيفرة المصدرية للصفحة وحفظها محليًا.

يتم استخراج البيانات المتعلقة بالمنافسة مثل "اسم المنافسة"، "رقم المنافسة"، "الغرض من المنافسة"، "الجهة الحكومية"، و"قيمة العرض المالي" وغيرها من المعلومات.

يتم الانتقال إلى علامات تبويب أخرى داخل الصفحة لاستخراج بيانات إضافية مثل "نتائج الترسية" و"التواريخ الهامة".

يتم جمع هذه البيانات وتنظيمها في هيئة DataFrame باستخدام مكتبة Pandas وتصديرها إلى ملف CSV باسم "Offers.csv".

البيانات المستخرجة:

اسم المنافسة

رقم المنافسة

الرقم المرجعي

الغرض من المنافسة

قيمة وثائق المنافسة

حالة المنافسة

مدة العقد

التأمين المطلوب

نوع المنافسة

الجهة الحكومية

الوقت المتبقي

طريقة تقديم العروض

ضمان الابتدائي

رقم الترسية

اسم المورد

قيمة العرض المالي

قيمة الترسية

آخر موعد لتقديم الاستفسارات

آخر موعد لتقديم العروض

فوائد المشروع:

استخراج البيانات بشكل تلقائي مما يقلل الحاجة للتدخل اليدوي.

القدرة على تحليل البيانات المستخرجة وتقديم تقارير مفصلة حول المنافسات.

توفير الوقت والجهد للشركات أو الأفراد الراغبين في متابعة المنافسات الحكومية بسهولة.

استخدامات المشروع:

يمكن استخدامه من قبل الشركات المهتمة بالمنافسات الحكومية لمتابعة المناقصات المتاحة.

يمكن تعديل الكود لاستخدامه على مواقع مشابهة لاستخراج بيانات أخرى.