مشروع End-to-End Data Engineering Pipeline لتحليل بيانات الفنادق وبناء نظام توصية ذكي يعتمد على تحليل البيانات الضخمة ومعالجة اللغة الطبيعية.
يقوم النظام بجمع بيانات الفنادق والتقييمات ثم معالجتها وتحليلها باستخدام تقنيات الذكاء الاصطناعي لتقديم توصيات مخصصة للمستخدمين.
مكونات المشروع:
1. استخراج البيانات (Data Scraping)
تم استخراج بيانات الفنادق والتقييمات باستخدام:
Selenium
BeautifulSoup
مع التعامل مع أنظمة الحماية ضد البوتات.
2. بناء خط معالجة البيانات (ETL Pipeline)
تم تنفيذ عمليات تنظيف وتحويل البيانات باستخدام:
Apache Spark
PySpark
Pandas
وتحويل البيانات إلى صيغة مناسبة للتحليل.
3. تحليل المشاعر (Sentiment Analysis)
تم استخدام نموذج BERT متعدد اللغات لتحليل تقييمات المستخدمين واستخراج مشاعرهم تجاه الفنادق.
4. تدريب نموذج ذكاء اصطناعي
تم بناء نموذج Neural Network باستخدام TensorFlow لتقدير جودة الفنادق التي تفتقد تقييمات.
كما تم مقارنة عدة طرق لمعالجة القيم المفقودة واختيار أفضل استراتيجية بناءً على الأداء.
README (2)
5. تطوير لوحة تحكم تفاعلية
تم إنشاء تطبيق ويب باستخدام Flask يسمح للمستخدمين بـ:
البحث عن الفنادق
استكشافها عبر خريطة تفاعلية
ترتيب النتائج حسب الجودة والقرب الجغرافي
يساعد النظام المستخدمين على اتخاذ قرارات حجز أفضل اعتمادًا على تحليل البيانات والذكاء الاصطناعي.