GPT model

مشروع لبناء نموذج GPT مصغر لتوليد النصوص والتنبؤ بالكلمة أو الجزء التالي من النص باستخدام Python وPyTorch.

تم بناء النموذج من الصفر، بدايةً من تجهيز ومعالجة البيانات النصية وإنشاء الـTokenizer، ثم بناء مكونات الـTransformer وتطبيق آلية الـSelf-Attention، وصولًا إلى تدريب النموذج واختباره واستخدامه لتوليد نصوص جديدة بناءً على النص المدخل.

المشروع كان تطبيقًا عمليًا لمفاهيم الـDeep Learning وNLP والـTransformers، مع التركيز على فهم كيفية عمل نماذج اللغة الحديثة بدلًا من استخدام نموذج جاهز.