في جميع المهام السابقة، كنا نقوم بتدريب شبكة عصبية لأداء مهمة معينة باستخدام مجموعة بيانات مُعلمة. مع النماذج الكبيرة القائمة على المحولات، مثل BERT، نستخدم نمذجة اللغة بطريقة ذاتية الإشراف لبناء نموذج لغة، يتم تخصيصه لاحقًا لمهام محددة من خلال تدريب إضافي خاص بالمجال. ومع ذلك، فقد تم إثبات أن النماذج الكبيرة للغة يمكنها أيضًا حل العديد من المهام دون أي تدريب خاص بالمجال. عائلة النماذج القادرة على القيام بذلك تُسمى GPT: المحول المدرب مسبقًا التوليدي.
تم تقديم فكرة أن الشبكة العصبية يمكنها أداء مهام عامة دون تدريب إضافي في الورقة البحثية نماذج اللغة هي متعلمون متعددون غير مشرف عليهم. الفكرة الرئيسية هي أن العديد من المهام الأخرى يمكن نمذجتها باستخدام توليد النصوص، لأن فهم النص يعني بشكل أساسي القدرة على إنتاجه. وبما أن النموذج يتم تدريبه على كمية هائلة من النصوص التي تشمل المعرفة البشرية، فإنه يصبح أيضًا على دراية بمجموعة واسعة من المواضيع.
فهم النصوص والقدرة على إنتاجها يتطلب أيضًا معرفة شيء عن العالم من حولنا. الناس يتعلمون أيضًا إلى حد كبير من خلال القراءة، وشبكة GPT مشابهة في هذا الجانب.
تعمل شبكات توليد النصوص من خلال توقع احتمال الكلمة التالية
يمكنك قراءة المزيد عن الاحتمالات في منهج علم البيانات للمبتدئين.
يمكن تعريف جودة نموذج توليد اللغة باستخدام مقياس الحيرة. وهو مقياس داخلي يسمح لنا بقياس جودة النموذج دون الحاجة إلى مجموعة بيانات خاصة بالمهمة. يعتمد على مفهوم احتمالية الجملة - حيث يقوم النموذج بتعيين احتمال مرتفع للجمل التي من المحتمل أن تكون حقيقية (أي أن النموذج ليس مرتبكًا بسببها)، واحتمال منخفض للجمل التي تكون أقل منطقية (مثل: هل يمكنه يفعل ماذا؟). عندما نقدم للنموذج جملًا من مجموعة نصوص حقيقية، نتوقع أن تكون احتمالاتها مرتفعة، وحيرتها منخفضة. رياضيًا، يتم تعريفه كمعكوس الاحتمال الطبيعي لمجموعة الاختبار: $$ \mathrm{Perplexity}(W) = \sqrt[N]{1\over P(W_1,...,W_N)} $$
يمكنك تجربة توليد النصوص باستخدام محرر النصوص المدعوم بـ GPT من Hugging Face. في هذا المحرر، تبدأ بكتابة نصك، وعند الضغط على [TAB] ستظهر لك عدة خيارات للإكمال. إذا كانت الخيارات قصيرة جدًا أو لم تكن راضيًا عنها - اضغط [TAB] مرة أخرى، وستحصل على المزيد من الخيارات، بما في ذلك نصوص أطول.
GPT ليس نموذجًا واحدًا، بل هو مجموعة من النماذج التي تم تطويرها وتدريبها بواسطة OpenAI.
ضمن نماذج GPT، لدينا:
| GPT-2 | GPT 3 | GPT-4 |
|---|---|---|
| نموذج لغة يحتوي على ما يصل إلى 1.5 مليار معلمة. | نموذج لغة يحتوي على ما يصل إلى 175 مليار معلمة. | 100 تريليون معلمة ويقبل مدخلات نصوص وصور ويُخرج نصوصًا. |
نماذج GPT-3 و GPT-4 متوفرة كخدمة معرفية من Microsoft Azure، وأيضًا عبر واجهة برمجة التطبيقات من OpenAI.
نظرًا لأن GPT تم تدريبه على كميات هائلة من البيانات لفهم اللغة والرموز، فإنه يقدم مخرجات استجابةً للمدخلات (التوجيهات). التوجيهات هي مدخلات أو استفسارات GPT حيث يقدم المستخدم تعليمات للنماذج حول المهام التي يجب إكمالها. للحصول على النتيجة المطلوبة، تحتاج إلى التوجيه الأكثر فعالية، والذي يتضمن اختيار الكلمات الصحيحة، التنسيقات، العبارات أو حتى الرموز. هذه الطريقة تُعرف بـ هندسة التوجيه.
هذا التوثيق يوفر لك المزيد من المعلومات حول هندسة التوجيه.
✍️ دفتر ملاحظات مثال: التجربة مع OpenAI-GPT
واصل التعلم من خلال دفاتر الملاحظات التالية:
النماذج العامة المدربة مسبقًا للغة لا تقوم فقط بنمذجة هيكل اللغة، بل تحتوي أيضًا على كميات هائلة من اللغة الطبيعية. وبالتالي، يمكن استخدامها بفعالية لحل بعض مهام معالجة اللغة الطبيعية في إعدادات بدون تدريب إضافي أو تدريب محدود.