Qoʻshimcha oʻqitish
Post-training
Bilimli, lekin xom modelni foydali, xavfsiz va suhbatlasha oladigan yordamchiga aylantiradigan oʻqitish bosqichi.
Oldindan oʻqitilgan model koʻp narsani biladi, lekin savolga javob berishni bilmaydi. Qoʻshimcha oʻqitish, inglizcha post-training, uni yordamchiga aylantiradi. Odatda bir necha qadamdan iborat:
- Fine-tuning: modelga odamlar yozgan minglab namunaviy savol-javoblar beriladi va u yordamchi kabi javob berishni oʻrganadi.
- Inson fikri bilan oʻqitish: odamlar model javoblarini baholaydi, model yaxshi javoblar tomonga sozlanadi.
- Masala yechtirish: eng yangi modellarga matematika va kod masalalari beriladi, toʻgʻri yechim ragʻbatlantiriladi. Shu yoʻl bilan ularga "oʻylash" oʻrgatiladi.
Xavfsizlik qoidalari, yaʼni nimalarni qilmaslik ham shu bosqichda oʻrgatiladi.
Oʻxshatish: universitetni bitirgan yosh mutaxassis ishga kelib, stajirovka oʻtaydi. Bilimi bor, endi uni mijoz bilan ishlashga, odob bilan gapirishga, ish qoidalariga oʻrgatishadi.
Misol: ochiq modellarda bu bosqichni boshqa kompaniyalar ham qila oladi. Perplexity kompaniyasi DeepSeekʼning ochiq modelini olib, uni oʻzicha qayta oʻqitgan. Shuning uchun bitta ochiq modelning yuzlab "farzandlari" bor.
Xato tushuncha: "model mening suhbatlarimdan ham shu tarzda oʻrganib boradi". Yoʻq, qoʻshimcha oʻqitishni kompaniya model chiqishidan oldin bajaradi. Siz bilan gaplashganda model oʻzgarmaydi.