Social Media ETL Pipeline

ما هو البروجكت؟

هو pipeline متكامل لـ Data Engineering بيأخذ raw social media logs، بيحوّلها ويثريها باستخدام Apache Spark، بيحفظها في Delta Lake tables، وبيعرضها على SQL Dashboard تفاعلي — كل ده على منصة Databricks Lakehouse.

المشكلة اللي بيحلها

• الشركات بتولّد ملايين social media events يومياً بدون أي تحليل

• صعب تعرف أنهي platform أو content بيحقق أعلى engagement

• البيانات الخام مش موحّدة — timestamps مختلفة، duplicates، schemas متغيّرة

• المديرون محتاجين dashboards real-time مش Excel sheets

الحل

Pipeline أوتوماتيكي بيمر بـ 4 مراحل: Ingest ← Transform ← Delta Load ← Dashboard، بيحوّل raw JSON logs لـ business insights جاهزة في دقايق.