تحويل بيانات من موقع الحكومة البريطانية إلى قاعدة البيانات بإحدى الشركات المقدمة لخدمة برمجية

“عوامل التحويل الحكومية للإبلاغ عن غازات الدفيئة مخصصة للاستخدام من قبل المملكة المتحدة والمنظمات الدولية للإبلاغ عن بعض انبعاثات غازات الدفيئة.”

هذه هي البيانات التاريخية المطلوبة من جانبنا، حتى نتمكن من إجراء الحسابات للتحليل المناسب المقدم للعميل، وتتغير عوامل التحويل هذه على أساس سنوي.

ويتم هذا الغرض عن طريق إنشاء ما يسمى ETL

(استخراج | تحويل | تحميل) خط الأنابيب.

_______________

المزايا:

- أدوات جاهزة للاستخدام للمنتجات ذات الصلة (مثل SQL Server وExcel)

- يكتشف بشكل استباقي بعض المشكلات المعرضة للأخطاء، أي قبل تشغيل التطبيق الذي تم تنفيذه.

- الكشف التلقائي عن أنواع البيانات لمعظم تنسيقات البيانات (على سبيل المثال من .xlsx أو dbo.) إلى جانب القدرة على تخصيصها.

- تتم إدارة SoC (فصل الاهتمامات) عن طريق فصل التصميم على مستوى العميل عن التفاصيل ذات المستوى المنخفض في علامات تبويب منفصلة.

_______________

طريقة تنفيذه:

1. استخراج المخطط (نص Python): يقوم نص Python الخاص بك بتحليل ورقة Excel شبه المنظمة. فهو يحدد مكان بدء كل جدول منطقي وانتهائه، ويكتشف أسماء الأعمدة وترتيبها، وربما يستنتج أنواع البيانات. الهدف هو إجراء هندسة عكسية لمخطط البيانات.

2. بيان المخطط (ملف JSON): يقوم البرنامج النصي Python بعد ذلك بكتابة هذا المخطط المستخرج في ملف JSON منظم. يحتوي هذا الملف على جميع المعلومات اللازمة لخط الأنابيب لتحليل البيانات الأولية بشكل صحيح، مثل:

أ. أسماء الجداول

ب. صفوف البداية والنهاية لكل جدول

ج. عناوين الأعمدة بالترتيب الصحيح

3. الابتلاع الديناميكي (خط الأنابيب): أصبح خط الأنابيب الآن مرنًا للغاية. بدلاً من وجود منطق تحليل مبرمج، فإنه ببساطة يقرأ بيان مخطط JSON. ويستخدم هذه التعليمات لاستهداف كتل البيانات الصحيحة بدقة في ملف Excel، وتطبيق أسماء الأعمدة الصحيحة، ثم معالجة البيانات.