Inson fikri bilan oʻqitish
Reinforcement learning from human feedback (RLHF)
Odamlar model javoblarini solishtirib baholaydi, model esa koʻproq maʼqullangan javoblar tomonga sozlanadi.
Bu qoʻshimcha oʻqitishning bir qismi. Model bitta savolga bir nechta javob yozadi. Odamlar ularni solishtiradi: qaysi biri foydaliroq, aniqroq, xushmuomalaroq, qaysi biri zararli. Shu baholar asosida model oʻzini sozlaydi va keyingi safar odamlar maʼqullaydigan javobni yozishga moyil boʻladi. Inglizcha qisqartmasi RLHF.
Oʻxshatish: yosh oshpaz bir xil taomni uch xil pishiradi, ustoz esa tatib koʻrib, "manavisi yaxshi, bunisi shoʻr" deydi. Shogird har safar retsept kitobini qayta oʻqimaydi, ustozning didiga moslashib boradi.
Misol: ChatGPT yoki Claudeʼning muloyim ohangi, savolga tartibli javob berishi va xavfli soʻrovlarni rad etishi asosan shu bosqichning natijasi.
Bu usulning kamchiligi ham bor. Odamlar koʻpincha oʻzlariga yoqadigan, maqtovli javobni yuqori baholaydi. Natijada model baʼzan haddan tashqari rozi boʻladigan, xushomadgoʻy boʻlib qolishi mumkin. Shuning uchun "ajoyib gʻoya!" degan javobga koʻr-koʻrona ishonmang.
Xato tushuncha: "javob ostidagi baho tugmasini bossam, model darrov oʻrganadi". Siz bergan baho kompaniyaga boradi va keyingi modellarni oʻqitishda ishlatilishi mumkin. Lekin hozir gaplashayotgan modelingiz bundan oʻzgarmaydi.