sales-data-pipeline

1-تشغيل الـ DAG يوميًا:

الـ DAG هو Directed Acyclic Graph، وده عبارة عن تسلسل مهام (Tasks) بتتنفذ تلقائيًا وفقًا لجدول زمني محدد.

في الحالة دي، الـ DAG بيشتغل كل يوم تلقائيًا (@daily).

2-إنشاء الجداول في قاعدة البيانات:

أول خطوة في التنفيذ هي إنشاء الجداول المطلوبة داخل قاعدة بيانات PostgreSQL، وده بيضمن إن قاعدة البيانات جاهزة لاستقبال البيانات.

3- إدخال بيانات العملاء والمبيعات:

بعد إنشاء الجداول، بيتم إدخال بيانات العملاء (Customers) والمبيعات (Sales) في الجداول الخاصة بيهم داخل قاعدة البيانات.

4- إجراء 3 أنواع من التحليلات على بيانات المبيعات:

بعد إدخال البيانات، بيتم تنفيذ تحليلات على المبيعات باستخدام استعلامات SQL عبر PostgreSQL operators، وتشمل:

- إجمالي المبيعات لكل عميل (Total sales per customer):

بيتم حساب مجموع المبيعات لكل عميل، بحيث نعرف مين أكتر عميل اشترى.

- إجمالي المبيعات لكل منتج (Total sales by product):

بيتم حساب إجمالي عدد الوحدات المباعة وقيمتها لكل منتج، علشان نحدد المنتجات الأكثر مبيعًا.

- متوسط المبيعات لكل عميل (Average sales per customer):

بيتم حساب متوسط المبالغ اللي بيصرفها كل عميل، وده بيساعد في تحليل سلوك العملاء.

تنفيذ الاستعلامات:

كل التحليلات دي بيتم تنفيذها داخل PostgreSQL باستخدام SQL Queries.

بيتم تنفيذ الاستعلامات دي تلقائيًا في DAG باستخدام PostgreSQL operators داخل Airflow.