تفاصيل العمل

تطوير Framework مبسط لنموذج **MapReduce** باستخدام لغة C، يتيح تنفيذ مهام معالجة البيانات بالتوازي على عدة Threads.

يتضمن المشروع:

* إدارة **Mapper وReducer Threads** باستخدام POSIX `pthread`.

* تنفيذ Thread-safe لتخزين أزواج **Key/Value**.

* تقسيم البيانات باستخدام Partitioning قابل للتخصيص.

* ترتيب المفاتيح داخل الـPartitions قبل عملية Reduce.

* استخدام **Mutexes وSynchronization وBarrier** لضمان سلامة التنفيذ المتوازي.

* توزيع ملفات الإدخال ديناميكيًا على الـMapper Threads.

* إدارة دقيقة للذاكرة مع **Deep Copy** للبيانات وتنظيف الموارد بعد انتهاء التنفيذ.

* إمكانية التحكم في عدد الـMapper والـReducer Threads.

تم اختبار الـFramework على تطبيقات مثل **Word Count، URL Frequency Counter وInverted Index**، مع الاهتمام بالأداء وقابلية التوسع.

بطاقة العمل

اسم المستقل
عدد الإعجابات
0
تاريخ الإضافة
المهارات