مهندس بيانات

مهندس البيانات - Data Engineer هو محترف مسؤول عن تصميم البنية التحتية لبيانات الشركة والحفاظ عليها وتحسينها لتكون مناسبة لأغراض جمع بيانات الشركة وإدارتها وتحويلها والتحكم بالوصول إليها. وهو ينشئ طرق تحويل البيانات الخام إلى أشكال قابلة للاستخدام ليستخدمها علماء البيانات وغيرهم ويستفيدوا منها في رفع أداء الشركة وتحقيق أهدافها.

وقد تطور هذا الدور ليتولى مسؤولية البيانات الجوهرية في هندسة البرمجيات وفي علم البيانات على حد سواء. فمهندسو البيانات يستخدمون مبادئ هندسة البرمجيات ليطوروا خوارزميات تؤتمت تدفق البيانات. وهم أيضًا يتعاونون مع علماء البيانات لبناء البنية التحتية للخوارزميات التحليلية وتعلّم الآلة بدءًا من الاختبار وانتهاءًا بالتشغيل.

يساعد مهندسو البيانات المنظمات على تأسيس هيكلية بياناتها والوصول إليها بسرعة مع قدرتها المرنة على استيعاب أي حجم بيانات، ويؤسسون البنية التحتية لتمكين محّللي البيانات من الاستفادة من تلك البيانات ومن تشكيل رؤية واضحة وعمل تحليل واستقراء دقيقين عن الشركة وأعمالها. ويمكن أن نقسم مسؤوليات مهندس البيانات إلى مجموعتين:

• تشكيل بنية البيانات وإدارتها: ومن هذا:
  • بناء البنية التحتية للبيانات وصيانتها ليستفاد منها في استخراج البيانات وتحويلها وتحميلها من مصادر البيانات على اختلاف أنواعها مثل منصة خدمات الويب الخاصة بأمازون-Amazon Web Services (AWS) ومنصة البيانات الضخمة لغوغل Google CLoud.
  • ضمان إمكانية الوصول للبيانات في كل لحظة وتنفيذ السياسات المتعلقة بسرية البيانات وخصوصيتها.
  • تحسين موثوقية نظم البيانات وسرعتها وأدائها.
  • إنشاء مستودعات البيانات المثلى وخطوط نقلها، ونظم إنتاج التقارير لحل مشكلات الأعمال.

• تحليل البيانات ورؤيتها: يلعب مهندسو البيانات دورًا مهمًّا في بناء منصات تمكن مستهلكي البيانات من تحليل البيانات وتشكيل رؤى منها. فهم مسؤولون عن:
  • تنظيف البيانات ومعالجتها من مصادر البيانات الرئيسية والثانوية ثم تحويلها إلى صيغ يمكن لعلماء البيانات وغيرهم من مستهلكي البيانات استخدامها بسهولة.
  • تطوير أدوات البيانات وواجهات برمجة التطبيقات من أجل تحليل البيانات
  • استعمال خوارزميات لغة الآلة ومراقبتها والطرق الإحصائية في بيئات الإنتاج والتشغيل.
  • التعاون مع الفرق الهندسية وعلماء البيانات وغيرهم ممن لهم مصلحة في التعامل مع البيانات في فهم طرق تعزيز فاعلية البيانات لكي تلبي احتياجات الأعمال والشركات.

يعمل مهندس البيانات على تحسين الاستفادة من البيانات الموجودة بحوزة الشركة، ولذا يلعب دورًا كبيرًا في المجالات التالية:

• البحث عن أفضل الممارسات المستخدمة لتصفية دورة حياة تطوير البرمجيات.
• تشديد درجة أمن المعلومات وحماية بيانات العمل من الهجمات الإلكترونية.
• زيادة فهم صاحب العمل واستيعابه لنطاق العمل.
• تجميع البيانات من الأماكن المتفرقة إلى مكان واحد من خلال أدوات دمج البيانات ومكاملتها. وهذا يشدد على أهمية المهارات الهندسية عندما يتعلق الأمر بتنظيم تلك الكميات الهائلة من البيانات. إذ لا يجب أن تكون البيانات شاملة فحسب بل وأن تكون مترابطة وهذه المهمة هي من أولى مهام مهندس البيانات.

وسواءٌ أكانت فرق العمل تتعامل مع بيانات المبيعات أم تحليل دورة حياة العملاء المحتملين، فالبيانات موجودة في كل خطوة كما ترى. ومع تقدم التقنيات في السنوات الأخيرة تعاظمت أهمية البيانات، فقد جمعت هذه التقنيات بين الحوسبة السحابية ومشاريع المصادر المفتوحة ونمو البيانات ونموها على نطاق واسع.

مع أن مهندسي البيانات هم في الأصل مهندسو برمجيات، فإن مهارات البرمجة التقليدية بالكاد تقارب مهام مهندسي البيانات وما يمكن أن ينجزوه ويقدموه. فيما يلي نستعرض باختصار الأدوات والمسؤوليات التي ينبغي على مهندسي البيانات أن يكونوا على معرفة بها خلال عملهم:

• أدوات الاستخراج والتحويل والتحميل - Extract, TRansform, Load (ETL) التي تستخدم في دمج البيانات ومكاملتها. ومع أن منصات التطوير منخفض الشيفرة أو Low-Coode Development قد أقصت أدوات ETL التقليدية وأخذت مكانها في هذه الأيام، فإنه لا يُستغنى عن أدوات ETL عمومًا بالنسبة لمهندسي البيانات. ومن الأمثلة على هذه الأدوات: Informatica وSAP Data.
• عدد من لغات البرمجة مثل: بايثون وجافا وروبي وسي شارب، ولغات الاستعلام مثل SQL، واللغات المستعملة في الإحصاء مثل لغة R.
• واجهات برمجة التطبيقات (API) وهي جزء لا يستغنى عنه عند التعامل مع عمليات دمج البيانات، فهي جزء أساسي من مشاريع هندسة البرمجيات كونها تربط التطبيقات معًا وتحول البيانات بينها. وتعتمد هندسة البيانات بالتحديد على الواجهة REST API، وهي اختصار REpresentation State Transfer وهي تمكن مهندسي البيانات من التواصل عبر HTTP مما يجعلها أصلًا ثمينًا لأي أداة تعتمد على الويب.
• مستودعات البيانات وبحيرات البيانات، ويشير هذان المصطلحان إلى مخازن المنظمات لمجموعات البيانات المعقدة والهائلة والمعدة من أجل ذكاء الأعمال. ومن الأمثلة على أطر عمل البيانات الضخمة المعروفة: Spark وHadoop، وهما إطارا عمل يستخدمان لتحضير مجموعات البيانات الضخمة ومعالجتها. وكل منهما يعتمد على عناقيد الحواسيب لإنجاز مهام على كميات ضخمة من البيانات بدءًا من التنقيب عن البيانات وانتهاءً بتحليل البيانات.

بعد إضافة مشروع هندسة البيانات الخاص بك سيبدأ مهندسو البيانات في تقديم عروضهم عليه، ولانتقاء أفضل مهندس بيانات وتوظيفه ليبدأ العمل على مشروعك، ننصحك بالتالي:

• اقرأ كافة العروض المقدمة بعناية واهتمام ورشّح منها الأقرب لطلبك واستبعد البقية.
• ادخل الصفحة الشخصية لكل مهندس بيانات رشّحته واطّلع على محتواها وعلى التقييمات التي حصل عليها من تنفيذ المشاريع السابقة.
• زر معرض الأعمال لكل منهم لتشكّل فكرة عن أدائهم وما سيؤول إليه مشروعك إذا كُلِّف به.

وحين يستقر اختيارك على مهندس البيانات الذي تراه الأكفأ لمشروعك، كلّفه به بالضغط على زر "قبول العرض".

• بعد تكليف مهندس البيانات الذي اخترته بالمشروع تكون بدأت مرحلة التنفيذ معه. وهذه المرحلة تختص بتحويل الخطط التي اتفقتما عليها إلى عمل فعلي. فيقسم نطاق العمل إلى أجزاء أصغر فأصغر حتى يصل إلى مهام قابلة للقياس أي يمكن قياس الزمن الذي تستهلكه والتكلفة التي تصرف عليها. وينبغي مراعاة جودة العمل ويوضع لهذا معايير ومؤشرات.
• ويجب أن يعرض عليك مهندس البيانات وفقًا لمواعيد دورية ما أنجزه لترى تطابقه مع طلبك وتزوده بالملاحظات إن وجدت. ويكون التواصل عبر منصة مستقل بما توفره من أدوات كالمراسلة أو الرسائل الصوتية أو مشاركة ملفات تقدم الإنجاز. وهذه المتابعة لا بد منها لضمان استلام المشروع وفقًا للموعد المتفق عليه وبالجودة المطلوبة.