Fine Tuning of SDXL-Turbo Model (Retrained on custom images)

تنفيذ مشروع Fine Tuning (الضبط الدقيق)

Fine Tuning of SDXL-Turbo Model (Retrained on custom images)

? في هذا المشروع تم إعادة تدريب نموذج Stable Diffusion XL Turbo المتاح على Hugging Face على مجموعة صور مخصصة لم يكن النموذج تعرف عليها مسبقاً.

? يعد هذا النموذج من أفضل النماذج المجانية لتوليد الصور بناء على المطالبات النصية Text Prompt ويقدم خيارين من الاستخدام في توليد الصور:

1- Text-to-image

2- Image-Text-to-image

تم اختيار عينة من صور منتج Apple Vision Pro كمثال لإعادة تدريب النموذج (الغرض هو تنفيذ عملية الضبط الدقيق Fine Tuning وإعادة تدريب النموذج على مجموعة بينات معينة لم يتم التعرف عليها مسبقاً واختبار نتائج التدريب بغض النظر عن نوع الصور أو فئاتها).

تم تصميم واجهة مستخدم بسيطة باستخدام Gradio وهي إحدى أطر عمل Python التي تستخدم في بناء واجهات مستخدم تفاعلية لتطبيقات Chatbot، تقوم الواجهة بأخذ مدخلات عبارة عن Prompt أو Prompt & Image وإرسالها للنموذج من أجل توليد صور بناء على المدخلات ثم يتم محاولة تحسين الصور المولدة (Refiner) بناءً على الصورة التي يقدمها النموذج والتلقين المقدم من المستخدم.

الصور المرفقة الأولى توضح واجهة التطبيق ومثال لمخرجات النموذج بعد التدريب وتوضح الصورة الأخيرة المخرجات قبل التدريب باستخدام نفس التلقينات (Prompts).

? باختصار عن Fine-tuning:

هي عملية تحسين نموذج التعلم الآلي المدرب مسبقًا (Pre-trained Model) على مجموعة بيانات جديدة أو متخصصة لتحقيق أداء أفضل في مهمة معينة. بدلاً من تدريب النموذج من الصفر، يتم الاستفادة من المعرفة المكتسبة سابقًا وتحسينها لتتناسب مع المهمة الجديدة.