البيانات الضخمة

البيانات الضخمة أو Big Data هي البيانات التي تجمعها الشركات من مصادر مثل: مواقع الويب والتطبيقات والسوشيال ميديا والأجهزة الذكية ثم تُحللها لتستفيد منها في أعمالها، وتتمتع البيانات الضخمة بثلاث خصائص رئيسية:

• كبيرة الحجم: لأنها تُجمع على مدار اليوم والساعة.
• متنوعة: تأتي من مصادر مختلفة وبصيغ لا حصر لها مثل: الأرقام والنصوص والصور والفيديو... إلخ.
• سريعة: تتولد بسرعة فائقة وتدفقات غير ثابتة، ويتطلب بعضها معالجة في الزمن الحقيقي.

ويضيف لها البعض خاصيتي القيمة والموثوقية فبياناتك ينبغي أن تكون مفيدة وتتمتع بالجودة لتعتمد عليها.

يَصعب عليك تخزين البيانات الضخمة وتحليلها بالطرق التقليدية فهي معقدة وتحتاج لمتخصص لديه مهارات في علم البيانات والتَعلُّم الآلي والتَعلُّم العميق والذكاء الاصطناعي واستخدام برمجيات معالجة البيانات الضخمة نحو Hadoop وSpark.

كل شركة تتعامل مع البيانات تحتاج خبيرًا مستقلًا في مرحلة من مراحل عملها:

• يمنحك متخصص البيانات الضخمة فهمًا أفضل لعملائك، فالبيانات التي يستخدمها تكشف الكثير عمّا يفضلون وعن المنتجات التي اشتروها سابقًا والوقت الذي قَضوه في تصفح مواضيع معينة وآرائهم في ما تبيعه أو لماذا اختاروا منتجات المنافسين؟ وما إلى ذلك، وبعد تحليلها ستتمكن من:
  • استهدافهم بحملاتٍ تسويقية موجهة تناسبهم.
  • تصميم منتجات تلبي احتياجاتهم وترفع مبيعاتك.
  • تحسين التسويق والإعلانات والعروض الترويجية وخدمة العملاء.
• يساعدك متخصص البيانات الضخمة على اتخاذ أدق القرارات في أنسب وقت، أنه يستخدم كامل بياناتك القديمة والحالية ولا يكتفي بعينات فقط مثل الإحصاءات العادية، وهذا يُحدث فرقًا كبيرًا في دقة النتائج.
• يبقيك متخصص البيانات الضخمة في صدارة المنافسين، إذ يكشف لك أحدث اتجاهات السوق ويساعدك على تَكيّف أعمالك مع متطلباته المتغيرة وابتكار أفكار جديدة فتكسب ميزة عن الآخرين.
• يحدد لك متخصص البيانات الضخمة المشكلات وأسباب الفشل، فيخبرك مثلًا: أن خطتك التسويقية عبر وسائل التواصل الاجتماعي لا تصل للفئة المطلوبة، أو أن شاحِناتك التي تنقل البضائع لا تسلك أقصر الطرق.
• يؤدي متخصص البيانات الضخمة دورًا مهمًا في إدارة المخاطر، فيوضح لك التهديدات والمخاطر المحتملة ويكشف عن الأنشطة غير الطبيعية التي تدل على سلوك احتيالي أو خرق قد يضر بأعمالك.

يصلك موقع مستقل بالكثير من خبراء علم البيانات وبتخصصات مختلفة، وذلك بالضغط على زر "أضف مشروع" الظاهر أمامك في القائمة العلوية ثم كتابة تفاصيل العمل الذي تطلبه وفق الآتي:

• اكتب عنوانًا مختصرًا يَصف المشروع.
• حدد المهارات المناسبة له مثل: البيانات الضخمة والحوسبة السحابية وتنقيب البيانات وHadoop وApache solr وغيرها.
• وضح تفاصيل المشروع باستفاضة مثل: طبيعة نشاطك والنظم التي تستخدمها وأهدافك من تحليل البيانات والتقنيات التي تفضل استخدامها… إلخ.
• اطرح بعض الأسئلة على متخصصي البيانات الضخمة ليجيبوا عنها خلال تقديم عروضهم حتى تتطلع على خبرتهم في مجال المشروع.
• قَدِّر المدة الزمنية للمشروع وميزانيته باعتدال، وأضف بعض المرفقات التوضيحية إن لزم الأمر، ثم انشر مشروعك وانتظر عروض المستقلين.

تفيدك الخطوات التالية في الوصول إلى أمهر متخصص بيانات ضخمة على مستقل:

• اقرأ العروض المقدمة على مشروعك بعناية، وقسمّها بناءً على انطباعك الأولي إلى عروضٍ جيدة وعروضٍ مستبعدة.
• تصفح الملفات الشخصية لأصحاب العروض الجيدة، ولاحظ ما لديهم من خبرات ومهارات في التعامل مع البيانات الضخمة وأي البرمجيات والمنصات يجيدون استخدامها.
• انتقل بعدها لصفحة التقييمات وتفقد آراء أصحاب المشاريع السابقين بعملهم، ركز خصوصًا على من نَفّذ مشاريع ناجحة شبيهة بمشروعك فهذا مؤشر جيد.
• تواصل مع المرشحين النهائيين عبر رسائل الموقع أو رتب معهم مقابلة عبر الإنترنت واستفسر عن أي تفاصيل إضافية تخص المشروع.
• قارن بينهم مقارنة نهائية وتذكر أن باستطاعتك مفاوضتهم على السعر ومدة التنفيذ، ثم اتخذ قرارك ووظف الأقرب لاحتياجك بينهم.

أنواع البيانات الضخمة ثلاثة:

1. البيانات المنظمة: هي الأقل نسبةً بين البيانات الضخمة والأسهل تعاملًا لأنها مُنظمة في جداول ذات مواصفات ثابتة ومترابطة فيما بينها وطبيعة البيانات في كل سجل معروفة مُسبقًا، ومنها: البيانات الشخصية للمتعاملين وأرقام الفوترة والحسابات المصرفية. تُخزن ضمن قواعد البيانات العلائقية (RDBMS) ويُستعلم عنها بلغة SQL.
2. البيانات شبه المنظمة: ليست منظمة بدقة ضمن صفوف وأعمدة محددة الخصائص، لكنها تتمتع بوسوم دلالية تُميز أجزاء البيانات بعضها عن بعض، تستخدم لغات XML وJSON وYAML ومن أمثلتها: بيانات NoSQL وملفات CSV وLogs.
3. البيانات غير المنظمة: تُمثل غالبية البيانات الضخمة، لا تحكمها قواعد محددة وتتغير طبيعتها باستمرار وعشوائيًا، فقد تكون مزيجًا من الصور والصوت والمستندات ومقاطع الفيديو والبريد الإلكتروني والمنشورات… إلخ.

تتعدد مصادر البيانات الضخمة، وهذه أبرزها:

• وسائل التواصل الاجتماعي: تعطيك بيانات مهمة عن الأشخاص ومشاعرهم وما يفضلونه، وتتمثل في التفاعلات والتعليقات والمشاركات والمدة التي يُمضيها أحدهم على المنصة يشاهد فيديو معين أو يقرأ منشورًا... إلخ.
• المواقع الإلكترونية: تُسجل الكثير من البيانات عن عدد الزوار ومن أين أتوا؟ وما المدة التي قضوها على كل صفحة؟ وأي الروابط ضغطوا عليها؟ وغير ذلك.
• البيانات المالية: وتتضمن أسهم البورصة وبيانات الشراء عبر الإنترنت أو من المتاجر التقليدية، تعطيك معلومات عن الأسعار والمنتجات الأكثر تفضيلًا والتوزيع الجغرافي للعملاء وأوقات الشراء وطرق الدفع المستخدمة... إلخ.
• إنترنت الأشياء (iOT): ومنها تجهيزات المنازل الذكية والسيارات الذكية والروبوتات على خطوط الإنتاج وتتبع المواقع والأجهزة القابلة للارتداء وغيرها، جميعها تُسجل البيانات.
• تجهيزات غير متصلة بالإنترنت: تحتفظ بالبيانات في سجلاتها مثل: كاميرات المراقبة وأجهزة الاستشعار وتتبع الطقس وحركة المرور ومُعدّات الرعاية الصحية.

بعد التوظيف يبدأ معك محلل البيانات بتحديد نطاق العمل ليعرف هدفك من المشروع وما الذي تسعى لتحقيقه؟ وما نوعية المشكلة التي تحاول حلها بتحليل البيانات الضخمة؟ وبعد ذلك يباشر عمله وفق هذه المراحل:

• تحديد مصادر البيانات وجمعها.
• تحضير البيانات بإزالة المكرر أو المغلوط منها أو بتحويلها من صيغة لأخرى.
• تحليل البيانات الضخمة باستعمال برمجيات خاصة وتقنيات مثل: التنقيب عن البيانات والتعلم العميق والتحليل التنبؤي.
• تنظيم نتائج تحليل البيانات وتصحيح أي أخطاء يلاحظها.
• مشاركة النتائج معك وانتظار ملاحظاتك لتنفيذها قبل التسليم النهائي.