American Sign Language (ASL) Fingerspelling Recognition System
تفاصيل العمل
نبذة عن العمل
تطوير نظام ذكي للتعرف على American Sign Language (ASL) Fingerspelling باستخدام تقنيات Deep Learning وComputer Vision، بهدف تحويل إشارات الحروف اليدوية إلى نص والمساهمة في تسهيل التواصل بين مستخدمي لغة الإشارة والأشخاص غير المتحدثين بها.
يدعم النظام التعرف على 26 حرفًا من الأبجدية الإنجليزية بالإضافة إلى الإشارات الخاصة بـ Space وDelete وNothing، مع إمكانية تحليل الصور والفيديو والتعامل مع اختلافات الإضاءة والخلفيات واتجاهات اليد.
فكرة النظام
يعتمد النظام على تحليل صورة أو إشارة يد مأخوذة من الكاميرا، ثم تمريرها عبر مراحل المعالجة المسبقة واستخراج الخصائص البصرية قبل استخدامها بواسطة نماذج Deep Learning للتنبؤ بالحرف المقابل.
Input Image / Video
↓
Hand Detection & Preprocessing
↓
Deep Learning Models
↓
ASL Letter Prediction
↓
Confidence Score
↓
Text Output / Sentence Building
المعالجة المسبقة للصور
تم تطوير Preprocessing Pipeline لتجهيز صور اليد وتحسينها قبل إدخالها إلى نماذج التصنيف.
تم استخدام MediaPipe Hands للمساعدة في تحديد اليد وتقليل تأثير الخلفيات والعناصر غير المهمة في الصورة.
كما تم تطبيق Data Augmentation لتحسين قدرة النماذج على التعامل مع اختلافات الصور والظروف الواقعية.
تطوير ومقارنة النماذج
تم تدريب ومقارنة مجموعة من معماريات Deep Learning بهدف تحديد النماذج الأكثر ملاءمة لمهمة التعرف على إشارات ASL.
النماذج المستخدمة:
* SqueezeNet
* MobileNet
* EfficientNet-B0
* EfficientNet-B1
* InceptionV3
* ConvNeXt-Tiny
تم تقييم النماذج باستخدام مجموعة من المقاييس، من بينها:
* Accuracy
* Precision
* Recall
* F1-Score
ساعدت مقارنة هذه النماذج في تحليل الاختلافات في الأداء واختيار النماذج الأكثر ملاءمة لمهمة تصنيف إشارات اليد.
Explainable AI باستخدام Grad-CAM
تم دمج تقنية Grad-CAM لتحليل المناطق البصرية التي يعتمد عليها النموذج أثناء اتخاذ قرار التصنيف.
يساعد ذلك في فهم ما إذا كان النموذج يركز على منطقة اليد والإشارة المستخدمة، كما يوفر مستوى إضافيًا من التفسير لنتائج نماذج Deep Learning.
واجهة المستخدم التفاعلية
تم تطوير GUI تتيح للمستخدم رفع صورة لإشارة ASL وتحليلها باستخدام النماذج المختلفة.
يتم عرض التنبؤ الخاص بكل نموذج مع مستوى الثقة، مما يسمح بمقارنة نتائج النماذج ومعرفة النموذج الأكثر قدرة على التعرف على الإشارة.
Real-Time Sentence Builder
تم تصميم النظام ليكون قابلًا للتوسع إلى سيناريو Real-Time Sign Language Recognition، بحيث يمكن تحويل الإشارات المتتابعة إلى حروف ثم تجميعها لتكوين كلمات وجمل نصية.
البيانات المستخدمة
تم استخدام ASL Alphabet Dataset الذي يحتوي على حوالي 87,000 صورة موزعة على 29 فئة:
* 26 حرفًا من A إلى Z
* Space
* Delete
* Nothing
التقنيات المستخدمة
Deep Learning:
* TensorFlow / Keras
* MobileNet
* SqueezeNet
* EfficientNet
* InceptionV3
* ConvNeXt-Tiny
Computer Vision:
* MediaPipe Hands
* Image Preprocessing
* Data Augmentation
* Real-Time Image Analysis
Explainable AI:
* Grad-CAM
Application:
* Interactive GUI
* Image-Based Recognition
* Real-Time Sentence Building
النتيجة النهائية
تم بناء نظام متكامل للتعرف على إشارات ASL يجمع بين Computer Vision وDeep Learning، مع إمكانية مقارنة عدة معماريات، تفسير قرارات النماذج باستخدام Grad-CAM، وتحويل الإشارات إلى نص مع إمكانية التوسع نحو بناء الجمل في الوقت الفعلي.
يمثل المشروع تطبيقًا عمليًا للذكاء الاصطناعي في مجال Accessibility وAssistive Technology، بهدف تطوير حلول تقنية تساعد على تسهيل التواصل ودعم الوصول إلى التكنولوجيا بشكل أكثر شمولًا.