(Research) Play to Heal – An Interactive Hand Rehabilitation Game Using AI

(research )Play to Heal – An Interactive Hand Rehabilitation Game Using AI

Developed a graduation project that combines Artificial Intelligence, Computer Vision, and game development to support hand rehabilitation through interactive gameplay

The system uses a webcam to capture hand movements and MediaPipe and OpenCV to process hand gestures. Deep learning models, including CNN and BiLSTM, were developed to recognize hand gestures and translate them into real-time game controls in Unity

*Collection, cleaning, preprocessing, and preparation of hand gesture data

* Real-time hand tracking using MediaPipe and OpenCV

* Hand gesture classification using deep learning

* Integration of AI predictions with a Unity game using UDP communication

* Interactive maze gameplay designed around hand movements for rehabilitation exercises

Technologies:Python, OpenCV, MediaPipe, CNN, BiLSTM, Unity, UDP Communication.

This project demonstrates the practical application of AI and computer vision in interactive rehabilitation systems

(بحث علمي) Play to Heal – لعبة تفاعلية لإعادة تأهيل اليد باستخدام الذكاء الاصطناعي

تطوير مشروع تخرج يجمع بين الذكاء الاصطناعي والرؤية الحاسوبية وتطوير الألعاب لدعم إعادة تأهيل اليد من خلال تجربة تفاعلية تعتمد على حركة اليد.

يعتمد النظام على كاميرا الويب لالتقاط حركات اليد، واستخدام MediaPipe وOpenCV لمعالجة الحركات وتتبع اليد، بالإضافة إلى تطوير نماذج تعلم عميق، تشمل CNN وBiLSTM، للتعرف على إيماءات اليد وتحويلها إلى أوامر للتحكم باللعبة في الوقت الفعلي باستخدام Unity

-جمع بيانات إيماءات اليد وتنظيفها ومعالجتها وتجهيزها

- تتبع اليد وحركاتها في الوقت الفعلي باستخدام MediaPipe وOpenCV

- تصنيف إيماءات اليد باستخدام نماذج التعلم العميق

- دمج تنبؤات نماذج الذكاء الاصطناعي مع لعبة Unity باستخدام بروتوكول الاتصال UDP

- تطوير لعبة متاهة تفاعلية تعتمد على حركات اليد، بهدف دعم تمارين إعادة التأهيل

التقنيات المستخدمة:Python، OpenCV، MediaPipe، CNN، BiLSTM، Unity، UDP Communication

يسلط المشروع الضوء على التطبيق العملي للذكاء الاصطناعي والرؤية الحاسوبية في تطوير أنظمة تفاعلية مساعدة في إعادة تأهيل اليد