Oʻqitish maʼlumotlari
Training data
Model oʻqitiladigan ulkan matn, rasm, ovoz va kod toʻplami; model nimani bilishi va nimani bilmasligi shunga bogʻliq.
Model hech narsani tugʻma bilmaydi. Uning bor bilimi oʻqitish maʼlumotlaridan keladi. Til modellari uchun bular internetdagi sahifalar, kitoblar, ilmiy maqolalar va dastur kodlari. Avval ular tozalanadi: reklama, takrorlar va zararli matnlar olib tashlanadi. Natijada trillionlab soʻzdan iborat ulkan kutubxona hosil boʻladi.
Misol: Meta oʻzining eng katta Llama modelini 15 trillion tokendan ortiq matnda oʻqitganini eʼlon qilgan.
Oshpazni eslang. Eng mohir oshpaz ham sifatsiz guruch va goʻshtdan yaxshi osh damlay olmaydi. Model ham shunday: maʼlumot qanday boʻlsa, natija ham shunga yarasha.
Bundan uchta muhim narsa kelib chiqadi:
- Bilim chegarasi. Maʼlumot maʼlum sanagacha yigʻilgan, undan keyingi voqealarni model oʻzi bilmaydi.
- Til farqi. Internetda oʻzbekcha matn kam. Shuning uchun modellar oʻzbek tilini inglizchadan zaifroq biladi va mahalliy mavzularda koʻproq adashadi.
- Tarafkashlik. Maʼlumotdagi qarashlar va xatolar modelga ham oʻtadi.
Xato tushuncha: "model oʻqigan hamma narsasini soʻzma-soʻz saqlab qoʻygan". Aslida u asosan matnlardagi qonuniyatlarni oʻrganadi, kutubxonaning nusxasini emas.