GitHub-ecosystem-mining-app

تطوير تطبيق متكامل لتعدين بيانات نظام GitHub البيئي (GitHub Ecosystem Mining App) باستخدام Python وJupyter Notebook، بهدف جمع وتحليل بيانات المستودعات البرمجية من واجهة GitHub REST API، وتطبيق خوارزميات تعدين البيانات المتقدمة لاكتشاف الأنماط والعلاقات بين التقنيات والمشاريع.

شمل العمل بناء خط أنابيب كامل يبدأ بجمع البيانات من GitHub، مروراً بتنظيف النصوص وهندسة الميزات، ثم تطبيق خوارزمية Apriori لاستخراج قواعد الارتباط (238 قاعدة)، وتحليل الروابط باستخدام PageRank وHITS لبناء رسم بياني مرجّح للتقنيات المشتركة (1,500 حافة). كما تم استخدام نموذج BERT-Tiny الجاهز (phob0s/bert-tiny) مع استدلال NumPy لتوليد تضمينات دلالية وحساب تشابه المستودعات، مع تصنيف النصوص إلى 13 فئة دلالية و14 مجتمعاً تقنياً.

تم جمع 5,049 مستودعاً حقيقياً، و10,470 تقنية/موضوعاً، و50 مقتطف README، وتطوير لوحة تحكم تفاعلية باستخدام Chart.js وD3.js تعرض الرسوم البيانية، خريطة PCA العنقودية، ومستكشف المستودعات. كما تم إنتاج تقرير مشروع كامل وعرض تقديمي، مع سكربت تحقق آلي (validate_project.py) يضمن سلامة جميع المخرجات.

المهارات:

Python، Jupyter Notebook، GitHub REST API، Apriori، PageRank، HITS، BERT، NumPy، Chart.js، D3.js، PCA، هندسة الميزات، تعدين النصوص، تحليل الروابط، تطوير لوحات التحكم التفاعلية.