تحويل البيانات من MySql الى ElasticSearch

في اطار بحث الدكتوراة، قمنا باستخراج ما يقارب 100 مليون تسجيل من موقع التواصل الاجتماعي حيث تم تخزينه في قاعدة البيانات MySql.

و من أجل تحليل هذه البيانات ودراستها وجدنا انفسنا امام طول انتظار اجوبة database query لكثرة العلاقات بين الجداول المكونة لقاعدة البيانات، لذلك بدأ التفكير في تحويل البيانات الى نظام سريع و فعال.

من أجل ذلك انكبت الدراسة على فهم الانظمة المتاحة لهذا الغرض و ما يتطلبه كل نظام، فوقع الاختيار على Elasticsearch ثم بدأت مرحلة اعداد السكريبت الخاص من اجل التحويل.

استغرق الامر عدة اسابيع من اجل عملية التحويل نظرا للعدد الكبير من البيانات، الا انه تمكنا من الحصول على الاجوبة السريعة لجميع اوامر database query وتمكنا من تحليل جميع البيانات.