high availability Hadoop cluster using docker

بناء عنقود Hadoop عالي التوافر (High Availability) باستخدام Docker

وصف المشروع:

يركز هذا المشروع على بناء Hadoop Cluster عالي التوافر (Highly Available Cluster) باستخدام أتمتة Docker. البنية النهائية للمشروع توفر تحملًا للأعطال (Fault Tolerance) على مستوى طبقتي HDFS وYARN، بما يضمن استمرارية تشغيل النظام دون توقف (Zero Downtime) وضمان توافر البيانات بشكل دائم.

الخدمات والأدوار:

خدمات عقدة الـ Master:

ZooKeeper: ينسق عملية انتخاب القائد (Leader Election) لكل من NameNode وResourceManager.

JournalNode: يحتفظ بسجل تعديلات مشترك (Shared Edit Log) لعقد الـ NameNode.

NameNode: عقدة واحدة نشطة (Active) والباقي في وضع الاستعداد (Standby) لتحقيق HDFS HA.

ResourceManager: عقدة واحدة نشطة والباقي في وضع الاستعداد لتحقيق YARN HA.

خدمات عقدة الـ Worker:

DataNode: مسؤولة عن تخزين كتل البيانات (Data Blocks).

NodeManager: مسؤولة عن إدارة وتشغيل الحاويات (Containers).