استخراج وتحليل بيانات المنشآت الصحية (Web Scraping) باستخدام Python وSQL

في هذا المشروع، قمت بحل مشكلة تشتت بيانات المنشآت الصحية من خلال بناء نظام آلي لاستخراج البيانات (Web Scraping) من الخرائط الرقمية، ومن ثم معالجتها وهيكلتها في قاعدة بيانات احترافية، وتنتهي ببناء لوحة تحكم تفاعلية تتيح للمستخدمين البحث والفلترة الذكية.

تفاصيل المشروع (دراسة الحالة):

1. المشكلة (The Challenge):

- واجهت عملية حصر المستشفيات والمنشآت الصحية عدة تحديات تقنية وإحصائية، منها:

- تشتت البيانات: صعوبة حصر المستشفيات يدوياً بسبب بعثرة المعلومات وعدم وجود قاعدة بيانات مركزية.

- ضعف الدقة: وجود بيانات مكررة أو غير مكتملة، مما يعيق اتخاذ قرارات إحصائية أو تخطيطية صحيحة.

- غياب الرؤية: صعوبة تحليل التوزيع الجغرافي أو تقييم جودة الخدمات بناءً على القوائم التقليدية غير المنظمة.

2. الحل (The Solution):

قمت بتنفيذ دورة حياة كاملة للبيانات (End-to-End Data Pipeline) شملت:

- جمع البيانات آلياً (Web Scraping): استخدام تقنيات الأتمتة لسحب بيانات دقيقة لـ 25 منشأة صحية تشمل (الأسماء، الهواتف، الإحداثيات الجغرافية، والتقييمات).

- الهيكلة والتنظيم: تصميم قاعدة بيانات SQL Server متكاملة لضمان ترابط الجداول ومنع التكرار ومعالجة القيم المفقودة.

- لوحة التحكم التفاعلية (Dashboarding): تطوير تطبيق باستخدام Streamlit يحول البيانات إلى أداة بحث ذكية تتيح الفلترة حسب المنطقة الجغرافية ومستوى التقييم.

3. الأدوات والتقنيات المستخدمة:

- Python (Selenium/BeautifulSoup): لاستخراج البيانات وتجاوز تحديات المواقع الديناميكية.

- SQL Server: لإدارة وتخزين البيانات بطريقة احترافية تضمن سلامتها.

- Streamlit: لبناء واجهة المستخدم التفاعلية للوحة التحكم.

- Excel: لتصدير البيانات النهائية بصيغة احترافية منظمة وسهلة التداول.