نظام ذكي لترجمة لغة الإشارة فورياً باستخدام تقنيات التعلم العميق

يهدف هذا المشروع إلى سد فجوة التواصل مع فئة الصم والبكم من خلال تحويل إيماءات اليد إلى نصوص أو أوامر مفهومة برمجياً في الوقت الفعلي.

التحدي البرمجي:

التعرف على لغة الإشارة لا يتطلب فقط تحليل "شكل" اليد، بل يتطلب فهم "حركة" اليد عبر الزمن، وهو ما يجعل استخدام الشبكات العصبية التقليدية غير كافٍ.

الحل المبتكر:

قمت ببناء نموذج هجين يجمع بين استخراج المعالم (Feature Extraction) ومعالجة التسلسل الزمني:

استخدام MediaPipe Holistic لاستخراج إحداثيات نقاط اليد والوجه والجسم بدقة عالية.

تطوير بنية تحتية تعتمد على شبكات LSTM (Long Short-Term Memory) لقدرتها الفائقة على تذكر الأنماط الحركية المتسلسلة.

تدريب النموذج على مجموعة بيانات مخصصة لضمان الدقة في التعرف على الإشارات المختلفة.

النتائج المحققة:

نظام قادر على التنبؤ بالإشارات بدقة عالية وسرعة استجابة تسمح بالاستخدام الفعلي في تطبيقات المحادثة أو التحكم في الأجهزة.