منصة تحليل وتلخيص الأخبار من تليجرام في الوقت الحقيقي

يُعد هذا المشروع واحدًا من أكثر أعمالي تميزًا في مجال هندسة البيانات. حيث يقوم بجمع الأخبار اليومية من قناة الجزيرة على تليجرام، ومعالجتها وتحويلها إلى بيانات مصنّفة وقابلة للتحليل والتقارير.

يعمل Apache Airflow على تشغيل خط المعالجة مرتين يوميًا لجلب أحدث الأخبار. ثم يتم إرسال كل خبر إلى واجهات LLM APIs للحصول على التصنيف، ونسبة الثقة، والدولة المرتبطة بالخبر. بعد ذلك تُخزّن البيانات في Google BigQuery لإجراء التحليلات واسعة النطاق.

يتم بعد ذلك نمذجة البيانات وتحويلها باستخدام dbt لإنتاج جداول منظمة وجاهزة للاستخدام. كما يتم الاعتماد على نداء API آخر لتوليد ملخّصات يومية مختصرة حول أهم الأخبار والاتجاهات.

وفي النهاية، يتم عرض النتائج عبر لوحة تحكم تفاعلية مبنية باستخدام Next.js تعرض أهم المؤشرات بطريقة سهلة وواضحة.

تم تطوير المشروع بسرعة وكفاءة باستخدام Vibe Coding الذي سهّل إعداد كل من FastAPI وNext.js.