Modern Data Lakehouse Platform

نبذة عن المشروع

قمت بتصميم وتنفيذ منصة Modern Data Lakehouse لمعالجة وتحليل البيانات الضخمة باستخدام أحدث تقنيات الـ Data Engineering. تعتمد المنصة على Apache Iceberg لتخزين البيانات مع دعم ACID Transactions وSchema Evolution، بالإضافة إلى Project Nessie لإدارة إصدارات البيانات، مما يسمح بتتبع التعديلات وإمكانية الرجوع لأي إصدار بسهولة.

تم نشر المنصة بالكامل باستخدام Terraform مع توفير استعلامات SQL موزعة عبر Dremio وTrino للحصول على أداء مرتفع في التحليلات.

الخدمات المقدمة

تصميم Data Lakehouse Architecture

بناء Data Lake باستخدام MinIO

إنشاء Iceberg Tables

Data Versioning باستخدام Project Nessie

Distributed SQL Engine باستخدام Trino وDremio

Infrastructure as Code باستخدام Terraform

تحسين أداء الاستعلامات

Data Governance

التقنيات المستخدمة

Apache Iceberg

MinIO

Project Nessie

Dremio

Trino

DuckDB

Terraform

Docker