web scraping

تجريف البيانات Web Scraping هي عملية استخراج كميات كبيرة من البيانات آليًا من موقع واحد أو مجموعة مواقع على الشبكة العنكبوتية، ثم تنظيم تلك البيانات في هيكل معد خصيصًا لاستخدامها في أغراض عدة مثل تحليل آراء العملاء Sentiment Analysis أو تدريب نموذج تعلم آلي.

تعد هذه التقنية من أهم أدوات الشركات التجارية باختلاف أحجامها ومجالات نشاطها، ويمكن استخدامها في:

• مراقبة آراء الجمهور في علامتك التجارية Sentiment Analysis: عن طريق جمع تعليقات المستخدمين والعملاء عندما يذكرون علامتك التجارية
• تحليل أسعار المنافسين بغرض التسعير التلقائي: عن طريق جمع أسعار المنتجات على المنصات المنافسة وتمريرها لخوارزمية تعلم آلي لتتنبأ لك بالسعر المثالي الذي عليك تحديده
• جذب عملاء محتملين: عن طريق جمع عناوين البريد الإلكتروني من المواقع المختلفة وإرسال بريد تسويقي لهم
• دراسة السوق: بجمع المقالات والأخبار التي تخبرك بالاتجاه العام للسوق الذي تدرسه مما يساعدك على اتخاذ القرارات الصحيحة

يمكنك إضافة مشروعك على مستقل من خلال زر إضافة مشروع أعلى الشاشة، بعد ذلك املأ الحقول المطلوبة مثل اسم المشروع ووصف المشروع، وإليك بعض النصائح لتعيين أنسب مستخرج بيانات لمشروعك:

• اسم المشروع: لا ينصح باسم مثل: مطلوب مستخرج بيانات، يفضل اختيار اسم يفسر ما تريد تحقيقه، مثلًا: مطلوب مستخرج بيانات لجمع أسعار المنافسين، أو مطلوب استخراج بيانات لاستخدامها في تحليل آراء العملاء.
• وصف المشروع: يفضل ذكر كافة التفاصيل المهمة في الوصف، هل استخراج البيانات سيكون من موقع واحد أو من عدة مواقع؟ ما هي الصيغة المطلوب استخراج البيانات إليها؟ فيما ستستخدم البيانات بعد استخراجها؟ هذه بعض الأمثلة للتفاصيل التي يمكنك ذكرها.
• المدة الزمنية: قد يستغرق استخراج البيانات وهيكلتها في صيغة مناسبة وقتًا طويلًا إذا كانت البيانات المطلوب استخراجها ستستخدم لتدريب خوارزمية تعلم آلي مثلًا، حاول ترك متسعًا من الوقت للمستخرجين لتجهيز بياناتك في أفضل صورة.

بعد الموافقة على مشروعك ونشره، سيبدأ المستقلون بتقديم العروض المختلفة ويمكنك اختيار من تراه مناسبًا لتحقيق هدفك، والتالي بعض النصائح لتجربة توظيف يسيرة ومرضية على مستقل:

1. فرز العروض: يفضل ترتيب العروض حسب مدى اهتمام المستقل بما تريد تحقيقه وكيف ينوي أن يساعدك، فهذا يدل على أن المستقل لديه خبرة حقيقية ويمكنه مساعدتك في مشروعك.
2. مراجعة الخبرات السابقة: يستحسن اختيار المستقل الذي لديه مشاريع سابقة نفذ بها ما تريده إن وُجد، أو من نفذ مشاريع web scraping مشابهة لما تريد تنفيذه.
3. اختيار الصفقة المناسبة: يفضل الابتعاد عن العروض القليلة السعر، لتضمن أفضل جودة ممكنة.

يمكن استخراج أي بيانات على الشبكة العنكبوتية ما دامت أنها متاحة للعامة، حتى إن كانت معلومات مخفية مثل شيفرات HTML التي لا تكون دائمًا ظاهرة على الشاشة، وهذه قائمة بأنواع البيانات التي يمكن جمعها:

• النصوص
• العناوين الإلكترونية
• الصور
• الشيفرات التي تصل إلى حاسب المستخدم مثل HTML

في البداية، تتكون أي أداة استخراج للبيانات من جزئين:

1. متتبع الروابط Web Crawler، وهو الجزء المسئول عن المرور على جميع الروابط المستهدفة واحضار البيانات الموجودة بها على هيئة شيفرة HTML، وفي بعض المتتبعات المتقدمة يحضر المتتبع شيفرات CSS وJavaScript أيضًا.
2. مستخرج البيانات نفسه Scraper، وهذا الجزء يختلف من مشروع لآخر اختلافًا كبيرًا حسب نوعية البيانات التي يحتاجها صاحب المشروع، فيمكن أن يكون معقدًا للغاية أو يقوم بمهمة بسيطة

وتنقسم مستخرجات البيانات إلى أنواع كثيرة، فهناك:

• المستخرجات المبرمجة خصيصًا: وهذه يقوم ببرمجتها متخصص برمجيات محترف وتحتاج إلى درجة مهارة عالية
• المستخرجات المبنية مسبقًا: وهذه يمكنك تحميلها بنفسك واستخدامها مباشرة، وتتضمن العديد من الخصائص التي يمكن تعديلها لتناسب حاجتك، لكن المتقدمة منها قد تحتاج بعض الوقت لتتعلمها
• المستخرجات المتوفرة كامتداد للمتصفح: وهذه يمكنك تثبيتها على متصفحك مثل جوجل كروم واستخدامها، ولكنها تقيد ما تستطيع إنجازه بها، فلا يمكنها القيام بأي عمليات متقدمة لا يستطيع المتصفح القيام بها
• مستخرجات سطح المكتب: وهذه مستخرجات يمكنك تحميلها على جهازك وتثبيتها، ويمكنها القيام بالعديد من العمليات المتقدمة وبها خصائص أكثر من المستخرجات التي تعمل على المتصفح

ومن أشهر تطبيقات استخراج البيانات وأكثرها شعبية حاليًا:

• Scrapy
• ParseHub
• OctoParse