نظام مؤتمت لاستخراج وتحليل بيانات أمازون مع إدارة قواعد بيانات SQL

في هذا المشروع، قمت ببناء نظام متكامل (End-to-End System) لاستخراج وتحليل البيانات من موقع أمازون مصر (قسم اللابتوبات)، مع التركيز على استدامة البيانات ودقتها من خلال الأتمتة.

أهم ما يميز هذا المشروع:

أتمتة كاملة (Automation): تم بناء الكود ليعمل بشكل مستقل، مما يتيح تحديث البيانات دورياً وتتبع تغيرات الأسعار لحظة بلحظة دون تدخل بشري.

إدارة قواعد البيانات (SQL Database): بدلاً من الاعتماد على الملفات المؤقتة فقط، قمت بإنشاء قاعدة بيانات (.db) احترافية لتخزين البيانات، مما يضمن سرعة الاستعلام، الحفاظ على سجل الأسعار التاريخي، ومنع تكرار البيانات.

استخراج بيانات معقدة: سحب شامل لجميع تفاصيل المنتجات (الاسم، السعر الحالي، السعر الأصلي، الخصم، التقييمات، والمواصفات التقنية الدقيقة).

تجاوز أنظمة الحماية: استخدام تقنيات متقدمة لتفادي حظر الـ IP والتعامل مع هيكلية أمازون المتغيرة لضمان استمرارية العمل.

تحليل البيانات (Data Analysis): معالجة البيانات باستخدام Pandas لتقديم إحصائيات دقيقة حول متوسط الأسعار، والبراندات الأكثر عرضاً، وأفضل الصفقات المتاحة.

المخرجات التقنية للمشروع:

قاعدة بيانات SQL (.db): تحتوي على أرشيف البيانات المنظم.

ملفات Excel: تقارير نهائية نظيفة وجاهزة للاستخدام المباشر.

لوحة تحكم بيانية: رسوم بيانية (Charts) توضح رؤية شاملة للسوق المصري للابتوبات.

التقنيات المستخدمة:

لغة البرمجة: Python.

المكتبات: Selenium / BeautifulSoup (Scraping).

قواعد البيانات: SQLite.

المعالجة والتحليل: Pandas.

التصور البياني: Matplotlib / Seaborn.