Smart Sign Language Glove

هذا المشروع هو جزء من مشروع تخرّج تم تنفيذه ضمن فريق عمل، وكانت فكرته تصميم Smart Glove قادر على ترجمة لغة الإشارة إلى نص مكتوب في الوقت الحقيقي.

يعتمد النظام على Flex Sensors + ESP32 + Machine Learning + Mobile App، ويهدف لمساعدة مجتمع الصمّ والبكم في تسهيل التواصل.

دوري في المشروع (My Role):

ضمن فريق العمل، كانت مسؤوليتي الأساسية:

جمع البيانات (Data Capture):

تسجيل وقياس قراءات الـ Flex Sensors لكل حركة من حركات لغة الإشارة باستخدام الـ ESP32 وتجهيز ملفات الـ CSV.

تنظيف وتحضير البيانات (Data Cleaning & Preprocessing):

معالجة القيم المفقودة، إزالة القيم الشاذة Outliers، وتنظيم البيانات في شكل مناسب للنماذج.

تحليل البيانات (Data Analysis):

عمل إحصائيات وتحليل كامل للبيانات، واختبار توزيعاتها، وعمل Correlation و Boxplots و Pairplots.

تصوّر البيانات (Data Visualization):

استخدام مكتبات مثل:

Matplotlib

Seaborn

لعرض الـ Distribution، Heatmaps، Boxplots، Outliers Analysis … إلخ.

تجربة أكثر من Model واختيار الأفضل:

جرّبت عدة نماذج Machine Learning:

Logistic Regression

Decision Tree

SVM

Random Forest

وكتبت مقارنة بين النتائج وتم اختيار Random Forest كأفضل Model بدقة وصلت إلى 92%.

رفع النموذج على السيرفر (Deployment):

تجهيز الموديل بصيغة Pickle/Joblib ورفعـه على Heroku باستخدام FastAPI ليتصل مع الموبايل والـ ESP32.

مكونات المشروع (Team Work):

Hardware Team

تصميم وتوصيل Flex Sensors على الجوانتي

توصيل ESP32

لحام الأسلاك

تجهيز التغذية والبطارية

Software / IoT Team

برمجة ESP32

إنشاء API للتواصل

ربط الموبايل بالمايكروكونترولر

AI / Data Team (منها شغلي):

بناء Dataset

تحليل البيانات

تدريب الموديل

اختيار الأفضل

رفع الموديل على Heroku

Mobile App Team

تصميم تطبيق Flutter

عرض الترجمة Real-time

دعم اللغة العربية

إضافة Text-to-Speech

نتائج المشروع:

ترجمة لغة الإشارة للنص بشكل لحظي.

دقة نموذج Machine Learning وصلت إلى 92%.

تواصل متكامل بين ESP32 – Heroku – Mobile App.

واجهة استخدام سهلة وتعمل على Android.