Twitter Scraping

قمت بتطوير نظام لجمع وتحليل تغريدات تويتر المتعلقة بالذكاء الاصطناعي باستخدام مكتبة Tweepy مع واجهة برمجة التطبيقات الحديثة (API v2). تم تنفيذ الخطوات التالية:

جمع البيانات:

جمع التغريدات بناءً على قائمة كلمات مفتاحية محددة (مثل AI، ChatGPT، NLP، CV) باستخدام عمليات بحث موجهة (Filtered Search) مع استبعاد إعادة التغريدات لتجنب التكرار.

تخزين البيانات:

تم حفظ التغريدات المجمعة في ملف CSV، ثم تم نقلها إلى قاعدة بيانات MongoDB لتسهيل إدارة البيانات وتحديثها بدون تكرار.

تنظيف البيانات:

إزالة الروابط، الهاشتاجات، الإشارات (@mentions)، والرموز الخاصة من نصوص التغريدات، مع تحويل النصوص إلى صيغة موحدة (lowercase) لتوحيد التحليل.

تحليل المشاعر:

استخدمت مكتبتين لتحليل المشاعر:

VADER: لتحليل المشاعر بناءً على نص التغريدة وإعطاء درجات مركبة للمشاعر الإيجابية، السلبية، والمحايدة.

TextBlob: كطريقة دعم ثانية (تم حذفها لاحقًا بعد مقارنة النتائج).

تم تصنيف التغريدات إلى إيجابية، سلبية، ومحايدة بناءً على درجات VADER.

تحليل متقدم وتصنيف:

تصنيف التغريدات إلى فئات فرعية متعلقة بـ NLP وComputer Vision بناءً على الكلمات المفتاحية.

تحليل المشاعر والإحصاءات لكل فئة.

تحليل الأحداث المحددة زمنياً (مثل موجات ظهور ChatGPT، واهتمام العملات المشفرة) وتأثيرها على حجم وتوجه المشاعر.

التصور البياني:

عرض نتائج التحليل باستخدام مكتبات مثل Matplotlib و Seaborn:

توزيع المشاعر الكلي.

تطور المشاعر اليومية والأسبوعية.

مقارنة المشاعر بين فئات NLP وCV.

رسم Word Cloud لكلمات الذكاء الاصطناعي الأكثر شيوعًا.

تحليل حجم التغريدات عبر الزمن وربطها بالأحداث المهمة.