تتطوير نظام تحويل أبجدية لغة الإشارة من صور الى كلمات

في هذا المشروع، قمت بتطوير نظام كشف الإيماءات اليدوية مخصص للتعرف على حروف لغة الإشارة في الوقت الفعلي لمساعدة ذوي الاحتياجات الخاصة و تطوير وسيلة تواصلهم مع العالم. يستخدم هذا النظام MediaPipe لاكتشاف وتتبع معالم اليد، مما يوفر نقاطًا دقيقة لكل حركة يدوية. يتم بعد ذلك معالجة البيانات المُجمعة وإدخالها في نموذج تعلم عميق مُبني باستخدام TensorFlow/Keras لتصنيف الإيماءات اليدوية المختلفة.

لتحقيق دقة عالية، استخدمت تقنيات تعزيز البيانات وقمت بتحسين النموذج باستخدام بنية الشبكات العصبية التلافيفية (CNN). النظام قادر على التعرف على حروف لغة الإشارة من خلال إدخال الفيديو المباشر عبر الكاميرا، مما يوفر استجابة فورية.

التقنيات المستخدمة:

MediaPipe لتتبع اليد واكتشاف المعالم

TensorFlow/Keras لتدريب النموذج والتعلم العميق

OpenCV لمعالجة الصور والتقاط الفيديو في الوقت الفعلي

Python للتطوير والبرمجة

NumPy وPandas لمعالجة البيانات