منصة تحليل ذكية لموقع OpenLibrary باستخدام تقنيات Web Crawling

يهدف هذا المشروع إلى تطوير منصة ذكية قادرة على تحليل قابلية الزحف لموقع إلكتروني (Crawlability)، واستخلاص البيانات المهمة منه باستخدام تقنيات برمجية متقدمة. تم اختيار موقع OpenLibrary.org كنموذج تطبيقي للمشروع، حيث تم بناء أداة تفاعلية باستخدام Python وStreamlit تُمكن المستخدم من:

تحليل ملف robots.txt الخاص بالموقع لاستخلاص القواعد المنظمة لعملية الزحف (مثل التأخيرات المطلوبة والروابط الممنوعة).

استعراض وتحليل ملف السايت ماب (Sitemap) لاستخلاص التصنيفات المتاحة.

استخراج بيانات الكتب بناءً على (الموضوع، اسم المؤلف، أو الكلمات المفتاحية) باستخدام OpenLibrary API.

عرض الكتب بطريقة تفاعلية مع رسومات بيانية (مثل أكثر المؤلفين إنتاجًا، التوزيع النسبي، الكتب المميزة... إلخ).

دعم خيارات تنزيل البيانات بصيغة CSV.

جدولة عمليات الزحف اليومية تلقائيًا لتحديث البيانات باستمرار.

يُعد هذا المشروع مثالًا عمليًا لتطبيق تقنيات الزحف الأخلاقي وتحليل البيانات، وهو مفيد للباحثين، المطورين، والمهتمين بتقنيات Open Data.