نظام ترجمة لغة الإشارة

الاشتراك فى بحث تجريبي لعمل نظام مساعد لترجمة لغة الإشارة الى اللغة الإنجليزية والعكس باستخدام تطبيقات الذكاء الاصطناعي

* هدف البحث

بناء تطبيق يساعد على التواصل بين مستخدمي لغة الاشارة والمتحدث الطبيعي عن طريق استخدام الذكاء الاصطناعى

* منهجية البحث

1. استخدام نموذج ذكاء اصطناعي لتقطيع الفيديو الى كلمات/ حركات (gestures).

2. استخدام نموذج اخر لترجمة هذه الكلمات (gestures) الى اللغة الانجليزية ثم تجميع هذه الكلمات لتشكل جمل واضحة.

3. استخدام نموذج اخر لنطق هذه الكلمات حتى يسمعها الشخص الطبيعي (Text to speech)

* تحديات

الخطا المتراكب نتيجة وجود العديد من النماذج المتتالية

* النتيجة

تم الوصول الى نتيجة 71% دقة على قاعدة بيانات PHONEX14 فى عملية فصل الفيديو الى كلمات. و نتائج اقل فى عملية التعرف على الحركات وترجمتها الى كلمات.