Physical Token Dropping (PTD)
تفاصيل العمل
مشروع Physical Token Dropping (PTD) هو نظام تجريبي مبني باستخدام Python وPyTorch لتحسين أداء النماذج اللغوية الكبيرة عبر تقليل عدد التوكنات التي تتم معالجتها فعلياً داخل طبقات النموذج.
يعتمد المشروع على فكرة ذكية تسمى Physical Token Dropping، حيث يقوم النموذج بتحديد أهم التوكنات فقط والاحتفاظ بها أثناء تنفيذ طبقات الانتباه وFFN، بدلاً من معالجة جميع التوكنات بالكامل. هذا يؤدي إلى تقليل استهلاك الذاكرة VRAM، وتسريع الاستدلال، وتحسين الأداء خاصة في السياقات الطويلة. ([GitHub][1])
المشروع يحتوي على نسخة PTD V2 مبنية على نموذج Qwen2.5-0.5B، مع أدوات كاملة للتدريب، التقييم، الاختبار، والقياس، بالإضافة إلى مسارات تشغيل إنتاجية تستخدم sparse prefill مع dense decode لتحقيق توازن بين السرعة والجودة. ([GitHub][1])
من أبرز نتائج المشروع:
* نسخة PTD-70 أسرع بحوالي 1.21 مرة من النموذج التقليدي مع انخفاض بسيط جداً في الجودة
* نسخة PTD-30 أسرع بحوالي 1.64 مرة وتوفر أكثر من 800MB من VRAM
* النظام يحقق تحسينات كبيرة في السرعة والذاكرة عند التعامل مع السياقات الطويلة مثل 4K و8K tokens
* يوجد نظام fallback للحفاظ على الاستقرار في بيئات الإنتاج ([GitHub][2])
المشروع يتضمن:
* نظام تدريب كامل للنموذج
* أدوات تقييم ومقارنة بين Dense وSparse
* ملفات توثيق هندسية مفصلة
* أوامر جاهزة للتدريب والتشغيل
* دعم لتصدير النموذج إلى Hugging Face
* بنية قابلة للتطوير للأبحاث والإنتاج ([Hugging Face][3])
هذا المشروع مناسب للباحثين والمطورين الذين يعملون على:
* تحسين كفاءة النماذج اللغوية
* تقليل استهلاك الذاكرة
* تسريع الاستدلال
* بناء أنظمة ذكاء اصطناعي طويلة السياق
* تشغيل النماذج الكبيرة على أجهزة بموارد محدودة
كما يمكن دمجه مع مشروع Easy Memory لإنشاء وكلاء ذكاء اصطناعي يمتلكون ذاكرة طويلة المدى مع أداء أسرع واستهلاك أقل للموارد. ([GitHub][4])
[1]: https://github.com/mhnday... "mhndayesh/Physical-Token-Dropping-PTD"
[2]: https://github.com/mhnday... "GitHub - mhndayesh/Physical-Token-Dropping-PTD: A PyTorch proof-of-concept for Physical Token Dropping (PTD). PTD physically extracts top-K tokens via a multi-query router, executing attention and FFN on a strictly smaller tensor to reduce FLOPs and VRAM · GitHub"
[3]: https://huggingface.co/mh... "mhndayesh/PTD-Qwen2.5-0.5B-Keep70-Variant"
[4]: https://github.com/mhnday... "Easy Agentic Memory System"