وصف المشروع:
مشروع "SignSense AI" هو نظام متقدم يعتمد على الذكاء الاصطناعي ورؤية الكمبيوتر يهدف إلى سد فجوة التواصل بين مجتمع الصم وضعاف السمع والجمهور. يستخدم هذا التطبيق تتبعًا دقيقًا لنقاط اليد والوجه (Landmarks) لتدريب نموذج تعلم آلي قادر على التعرف على إشارات مخصصة في الوقت الفعلي.
الميزات والوظائف الرئيسية:
التدريب المخصص (Custom Training): يتيح للمستخدمين تسجيل عيناتهم الخاصة لإشارات محددة (مثل "hello"، "love"، "deaf"، "i love you") وتدريب النموذج عليها، مما يضمن مرونة عالية وتكيفًا مع أنماط الإشارة الفردية.
التعرف الفوري (Real-Time Recognition): بمجرد تدريب النموذج وتحميله، يقوم النظام بتحليل حركات اليد والوجه الملتقطة عبر الكاميرا وعرض الكلمة أو الجملة المقابلة للإشارة فورًا على الشاشة.
تقنية رؤية الكمبيوتر (Computer Vision): يعتمد على تحديد ورسم النقاط الرئيسية (نقاط حمراء متصلة) على الوجه واليدين لتحويل الحركة المعقدة إلى بيانات رقمية يمكن للنموذج معالجتها والتعلم منها، مما يضمن دقة عالية في التعرف.
سهولة الاستخدام: يوفر واجهة بسيطة مع أزرار واضحة ("Record 5s Sample"، "Train Model"، "Save/Load Model Data")، مما يسهل عملية التدريب والإطلاق.
هذا المشروع يمثل أداة قوية للتعليم المهني وتطوير نماذج التعرف الشاملة على لغة الإشارة، وهو يمهد الطريق لتطبيقات أكثر تعقيداً تستخدم تقنيات التعلم العميق (مثل LSTMs/Transformers) على تسلسل الفيديو.