بناء خط أنابيب (ETL) لسحب بيانات العقارات/الأسعار يومياً وتخزينها

قمت بتصميم وتطوير نظام متكامل لتحويل البيانات (ETL) يقوم بالمهام التالية:

سحب البيانات (Scraping): استخدام مكتبات Python مثل (BeautifulSoup/Scrapy) لاستخراج البيانات من مصادر الويب بشكل دوري ومنظم.

معالجة البيانات (Cleaning & Transformation): استخدام مكتبة (Pandas) لتنظيف البيانات من القيم المفقودة، وتوحيد الصيغ، وإزالة التكرارات لضمان دقة النتائج.

تخزين البيانات (Storage): تصميم هيكل قاعدة بيانات (SQL) وحفظ البيانات المعالجة فيها لتسهيل عملية الاسترجاع والتحليل لاحقاً.

الأتمتة (Automation): برمجة النظام ليعمل بشكل تلقائي دون تدخل بشري لضمان تحديث البيانات أولاً بأول.