بناء نموذج GPT-2 لتوليد النصوص باستخدام PyTorch

قمت بتطوير نموذج ذكاء اصطناعي يعتمد على معمارية Transformer (GPT-2) لتوليد النصوص بشكل تلقائي باستخدام مكتبة PyTorch.

تم تدريب النموذج على مجموعة بيانات TinyStories Dataset لتعلم أنماط اللغة وتوليد قصص قصيرة بشكل تلقائي.

خطوات العمل

تجهيز وتنظيف البيانات النصية.

تقسيم البيانات إلى تدريب واختبار.

بناء نموذج Transformer مشابه لـ GPT-2.

تدريب النموذج باستخدام PyTorch.

تقييم النموذج باستخدام مقياس Perplexity.

توليد نصوص جديدة باستخدام النموذج المدرب.

التقنيات المستخدمة

Python

PyTorch

Deep Learning

Transformers

Natural Language Processing

Artificial Intelligence

مميزات المشروع

بناء نموذج GPT-2 من الصفر

استخدام آلية Attention في النموذج

تدريب النموذج على بيانات حقيقية

توليد نصوص تلقائية باستخدام الذكاء الاصطناعي