مساعد صوتي عربي للمكفوفين (تطبيق أندرويد)

مساعد صوتي عربي للمكفوفين Arabic Voice Assistant for Blind People

طوّرت تطبيقًا صوتيًا للمكفوفين يدمج رؤية الحاسوب ومعالجة اللغة الطبيعية بطريقة تسهّل تفاعلهم مع محيطهم.

المكونات الذكية الرئيسية:

نظام وصف الصور:

عندما يلتقط المستخدم صورة، يقوم النموذج الذي بنيته من الصفر بإنتاج وصف صوتي دقيق للصورة باستخدام نموذج Image Captioning: تستخدم بنية Xception لاستخراج الميزات، و BERT-Tokenizer + BiLSTM مع آلية انتباه (Attention) لتوليد الجُمل وصفية. حيث وصلنا لدقة 90%.

نظام الإجابة عن الأسئلة البصرية (VQA):

إذا أراد المستخدم معرفة تفاصيل إضافية، يمكنه طرح أسئلة مثل "ماذا يوجد على اليمين؟" أو "ما لون الجسم؟"، ويجيب النظام عبر نموذج VQA (Visual Question Answering) يعتمد على Transformer مثل Pali-Gemma لدمج تمثيل الصورة والنص.حيث وصلنا لدقة 87%.

البنية التحتية التقنية:

التطبيق مبني على Flutter للواجهات الأمامية، ويستخدم Django كواجهات خلفية (Backend) لمعالجة الصور والأسئلة وإرجاع الردود الصوتية. كما قمت بدمج ميزة TTS (تحويل النص إلى كلام) لتقديم الوصف صوتيًا.

التحديات المحلولة:

اللغة العربية: معالجة خاصة للتشكيل، حروف العلة، وتنوع اللهجات

الأداء: تحسين سرعة الاستجابة لتجربة مستخدم سلسة

الدقة: موازنة بين سرعة النموذج ودقته لأفضل تجربة ممكنة

الأثر الاجتماعي:

هذا المشروع ليس مجرد تقنية، بل أداة تمكين تمنح الاستقلالية والثقة للمكفوفين في حياتهم اليومية، وتثبت أن التكنولوجيا يمكن أن تكون جسراً حقيقياً للشمولية